搜索[推理强度]结果-低调大师优秀个人博客

精选列表

搜索[推理强度]，共7446篇文章

腾讯发布推理框架 TNN 全平台版本，同时支持移动端、桌面端和服务端

TNN是腾讯开源的新一代跨平台深度学习推理框架，也是腾讯深度学习与加速Oteam云帆的开源协同成果，由腾讯优图实验室主导，腾讯光影研究室、腾讯云架构平台部、腾讯数据平台部等团队一起协同开发。

2021-04-28

量化 LLM 推理真的省电吗？我在五张 GPU、四代架构上直接测了测

做 LLM 部署的人大多有个默认假设：量化降低了显存占用和内存带宽压力，所以推理更省电。

2026-09-30

AMD市值破万亿美元那天，重算token8341：大模型API推理成本卡在哪

我盯着那条动态想了半天，想起的是另一个数字：我们团队上个月的大模型API账单，推理成本环比涨了23%。这两件事其实是一件事。

2026-09-22

Fable 5.1与Mythos 5.1发布：推理能力升级，API调用成本进一步降低

Anthropic最新发布了 Fable 5.1 和 Mythos 5.1 两款新模型。

2026-09-02

🔥 新增 DeepSeek V4 Flash，支持推理续调与联网搜索：开源 AI 无代码平台 NocoBase

(#10362) by @cgyrock 新增 DeepSeek V4 Flash 和 V4 Pro Responses API 支持，包括推理续调、原生联网搜索、引用解析和模型级联网搜索控制 (#10337

2026-08-28

大模型推理加速Medusa详解：单模型多头并行解码，解决投机解码双模型部署痛点20.1

相信看过前文的朋友都清楚，投机解码核心是Draft-Target 双模型流水线，依靠小模型提前预生成候选Token，再由大主模型做并行校验，这套方案确实能突破原生串行推理的速度瓶颈，是目前公认有效的推理加速思路

2026-08-21

单卡4090显存优化实践：模型单卡分片加载、推理链路拆解、延迟与吞吐平衡调优19.0

基本我们做大模型推理落地、本地私有化部署，都会遇到一个非常头疼的现实问题：手握RTX 4090显卡，显存规格足够强悍，却依旧跑不动千亿、百亿参数级别的大模型。

2026-08-10

AMD 收购 AI 芯片创企 Taalas，旨在将模型权重刻进芯片以提升推理性能

第一代测试芯片 HC1 用台积电 6nm 工艺流片，今年 2 月首次亮相时，在 Llama 3.1 8B 上的推理速度是英伟达 GPU 的 48 倍，Cerebras 晶圆级加速器的 8.5 倍。

2026-08-07

基于腾讯云TI平台的AI模型推理性能优化实战——AI产品经理的工程视角

在AI产品经理课程第11期的实战模块中，我们接到一个典型需求：将一款基于BERT变体的意图识别模型部署至生产环境，要求 P99延迟 ≤ 200ms，且 QPS ≥ 50（单实例）。然而，初期直接使用默认配置部署后，实测P99达到 680ms，吞吐量仅 18 QPS。

2026-08-05

DeepSpeed v0.19.3发布：ZeRO-3、AutoEP、DeepCompile、推理与训练稳定性全面升级

DeepSpeed v0.19.3 是一次覆盖训练稳定性、ZeRO 优化、自动并行、DeepCompile、推理能力、量化压缩、日志与类型提示、CI 流程以及文档维护的补丁版本更新。

2026-07-27

WorkBuddy 起势之后，是时候用 CGI 引擎(约束导引推理)开启腾讯 B 端落地的深水区

在 AI-Native（AI 原生）软件工程的演进浪潮中，腾讯的探索令人印象深刻： CNB（云原生构建）提供以 Git 代码协作为底座的一体化研发能力，覆盖托管、云原生构建/开发管理等环节； TAPD 作为研发协作与敏捷管理平台，将智能化能力融入需求、协作与交付流程； WorkBuddy 则面向企业办公场景，提供工作智能体能力与多端任务协同的工作入口。毫无疑问，腾讯已经搭建起具备延展性的研发基建与平台化底座。

2026-07-21

2026开源大模型推理成本暴涨300%，5段代码教你用KV Cache压缩自救

随着多模态大模型参数规模全面突破万亿级别，以及1M+ tokens长上下文成为行业标配，开源大模型的推理显存占用呈指数级增长。

2026-07-15

Anthropic J-Space论文解析：用 J-lens 读懂大模型的隐藏推理和安全隐患

Anthropic 本周的一篇关于 J 空间（J-Space）的论文，引起了业内广泛关注。

2026-07-13

R-HORIZON：探索长程推理边界，复旦 NLP&美团 LongCat 联合提出 LRMs 能力评测新框架

一、推理模型⾯临的新挑战随着 OpenAI o1 、 DeepSeek-R1 等大型推理模型（LRMs）的问世， AI 推理能力迎来了「测试时扩展」的新阶段。

2025-12-01

RWKV7-G1a 1.5B 开源发布，新推理风格和长度控制，效果显著增强

RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据，显著提升模型能力，且加入新的推理风格，可设置推理长度。

2025-09-25

AI 推理领域明星创企 Groq 完成 7.5 亿美元融资，投后估值达 69 亿美元

AI推理领域明星创企Groq宣布完成7.5亿美元新一轮融资，投后估值达69亿美元。

2025-09-18

面向 openKylin 智能引擎的开源大模型推理优化赛火热报名中

然而，端侧设备的计算资源（如 CPU/GPU/NPU）相对有限，难以原生支撑大模型的高效推理。在资源受限的端侧环境中优化大模型推理效率，是推动 openKylin智能引擎发展的关键所在。

2025-08-16

AI PC 新突破端侧首次支持 128K 上下文窗口实现 2.2 倍推理优化

英特尔与面壁智能从模型开发阶段就紧密合作，实现了长短文本多重推理效率的提升，端侧AI PC在Day 0全面适配，128K长上下文窗口等多方面突破。

2025-06-08

蚂蚁从训练到推理的全栈实践

当前 AI 工程面临多重挑战：首先，成本问题是首要痛点，无论是训练还是推理成本，尤其是 AI 训练的试验成本亟需降低。

2024-03-27

阿里巴巴发布首个知识引擎研究计划，联合清华浙大等五大高校攻坚AI推理

该计划以结构化的形式描述客观世界中概念、实体及其之间的关系，将互联网信息内容表达成更接近人类认知世界的形式，从而使计算机具备类脑推理能力。

2018-04-30

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。