搜索[推理强度]结果-低调大师优秀个人博客

精选列表

搜索[推理强度]，共7410篇文章

基于 Kubernetes + Triton 的 LLM 推理服务：部署、调优与弹性伸缩全流程

创建 ResourceClass 和 ResourceClaimTemplate：

2026-08-25

大模型推理加速的架构演进：从访存瓶颈到 MTP 与 DFlash

大模型生成速度慢，根本原因不在于"算得慢"，而在于"搬得慢"。自回归解码要求模型逐 token 生成，每生成一个 token 都要把数百 GB 的权重从高带宽显存（HBM）搬运到计算单元过一遍，导致 GPU 长期处于访存受限（memory-bound）状态。要提速，核心思路不是让模型"写得更用力"，而是让每一次权重搬运能"多产出几个 token"。本文从架构层面梳理这条技术路线的演进：投机采样（Speculative Decoding）奠定了"草稿 + 验证"的总框架，MTP（Multi-Token Prediction）让主模型自带草稿头，DFlash 用块扩散把草稿从"逐字书写"升级为"整块显影"，DSpark 则把这条路线修补完善并推向生产。

2026-08-13

LEEHPC 集群中部署 Open-WebUI + Ollama 大模型推理服务的完整记录

一句话总结：在 LEEHPC 集群 GPU 节点部署 Ollama + Open-WebUI，通过管理节点 Nginx 反向代理实现多用户统一入口访问大模型，含完整 systemd 配置、并发调优和踩坑记录。

2026-08-11

NET 本地推理三国杀

如果有人告诉你：纯 C# 写的大模型推理引擎，性能已经追平了手工调优的 C++——你会信吗？

2026-08-04

大模型推理引擎高频优化：连续批处理、PagedAttention 与 KV Cache 实战拆解

然而，推理中最隐蔽的“显存杀手”并非权重，而是 KV Cache。生成 2048 个 tokens 时，KV Cache 占用可达 ~3GB / 请求。

2026-08-03

聚搜云：TKE多模型推理显存分离优化：Prefill与Decode实战指南

要想真正把显存用起来，TKE 上的多模型推理就得重新审视显存分配逻辑，而不是单纯堆卡。

2026-07-27

三款AI推理芯片+超节点异构集群，云天励飞WAIC重磅发布

7月18日，云天励飞亮相2026世界人工智能大会，董事长兼CEO陈宁重磅发布公司AI推理基础设施路线图。

2026-07-21

首个推理模型 Muse Spark 震撼发布，全面转向闭源！

然而，就在今天，扎克伯格用一个重磅炸弹，彻底颠覆了所有人的认知——Meta 正式发布了其首个原生推理模型 Muse Spark，并宣布其将全面转向闭源，仅限 Meta 内部生态及少数合作伙伴通过 API

2026-07-17

突破推理瓶颈：大模型原生数据结构创新与前沿算法发展展望

与此同时，业界开始转向另一条路径：让模型“想得更深更久”，即通过延长思维链来提升推理能力。

2026-07-16

从显存瓶颈到推理革命：vLLM 为何成为大模型服务的底层标配

很多开发者都有一个共识：当模型基座的性能逐渐趋同，真正决定 AI 产品落地效率和成本的，是推理层的工程化能力。

2026-07-12

OpenAI 发布首款‌定制 AI 芯片 Jalapeño：联合 Broadcom 打造，专为推理优化

2026年6月24日，OpenAI 首次向外界展示了其自研的首款定制 AI 推理芯片，代号 Jalapeño。

2026-06-25

vLLM 团队成立创业公司 Inferact，目标打造世界领先的 AI 推理引擎

最流行的开源 LLM 推理引擎 —— vLLM 创建者和核心维护者宣布成立 AI Infra 初创公司：Inferact。

2026-01-23

小米开源 Xiaomi MiMo-V2-Flash：高效推理、代码与 Agent 基座模型

小米正式宣布开源Xiaomi MiMo-V2-Flash，这是小米专为极致推理效率自研的总参数 309B（激活15B）的 MoE 模型，通过引入 Hybrid 注意力架构创新及多层 MTP 推理加速，在多个

2025-12-17

【隐语SecretFlow架构解读】隐私保护模型在线推理系统 SecretFlow-Serving 架构解读

通用的做法是通过使用在线推理框架加载这些模型，并将其服务化以提供接口给业务系统使用。

2025-10-20

可验证过程奖励在提升大模型推理效率中的探索与实践

美团业务研发搜推平台部算法团队创新提出可验证过程奖励机制（VSRM），针对大模型推理中的冗余回复与过度思考问题，精准奖励有效推理步骤，显著缩减输出长度并提升推理效率。

2025-10-16

Andrej Kaparthy 开源 nanochat：从零开始的极简全栈训练/推理方案

这包括分词、预训练、微调、评估、推理以及通过简单的 UI 进行网络服务，这样你就可以像与 ChatGPT 交谈一样与自己的 LLM 交谈。

2025-10-14

Volcano v1.13 发布，大模型训练与推理等调度能力全面增强

新版本主要亮点包括：新增对大模型推理LWS的支持；新增定时任务管理能力；提供更灵活的网络拓扑发现机制，并增强对主流AI计算框架的兼容性。同时在混部架构上实现了重要改进，提升了在不同环境中的部署灵活性。

2025-09-30

图像、OSS 与推理深度优化一次到位！

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。

2025-08-20

富士康推出首款 AI 推理大模型 “FoxBrain”，商标申请已提交

这款 AI 推理大模型不仅是富士康的首次尝试，更是台湾省首个该类型的 AI 模型。根据公开资料显示，该商标的国际分类为科学仪器，目前正处于 “等待实质审查” 的状态。

2025-07-03

AMD 与 OpenAI 联合发布 AI 芯片：推理性能提升 35 倍

MI350系列配备288GB HBM3E 内存，内存带宽高达8TB/s，相较于上一代产品，AI 计算能力提升了4倍，推理性能更是提升了35倍。

2025-06-13

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。