搜索[推理强度]结果-低调大师优秀个人博客

精选列表

搜索[推理强度]，共7449篇文章

3 张卡到底能不能跑大模型推理？从 vLLM、llama.cpp 到 TensorSharp 的多卡真相

很多人觉得 vLLM 硬性规定张量并行（Tensor Parallelism）只能是 1、2、4、8 卡——这个理解其实不准确。

2026-08-29

Qwen3-ASR 从 PyTorch 迁移到 vLLM：一次信创环境下的推理路径改造实录

在 Qwen3-ASR 接入会议系统的早期阶段，熙瑾会悟采用的是相对直接的 PyTorch 路径：通过 Qwen3ASRModel.from_pretrained() 加载模型，收到音频文件后调用 model.transcribe()，再把识别结果返回给上层业务。

2026-07-31

幂等性在大模型服务中的核心应用：解决重复请求、重复扣费与重复推理问题.171

在大模型API接口、对话会话服务、知识库RAG接口线上落地过程中，重复请求是无法规避的常态问题。客户端网络抖动、前端按钮连续点击、浏览器页面刷新、接口超时自动重试、网关负载均衡重试、批量任务异步重调度等场景，都会导致同一条用户提问、同一次模型调用被反复提交。

2026-07-20

具身世界认知基座模型 Hy-Embodied-RxBrain-1.0 发布：让机器人大脑“会推理”且“会想象”

机器人进入开放环境后，不仅需要知道“下一步做什么”，还需要理解“为什么这样做”以及“完成后世界应该变成什么样”。

2026-07-17

推理速度25fps，首帧延迟3.5s！商汤SekoTalk：让实时语音数字人更近一步

SekoTalk通过模型蒸馏，模型结构优化，以及模型与系统的协同设计，在保证生成质量的前提下，实现推理效率的跨越式提升。

2025-12-10

如何在不可信的云环境中，构建兼具极致性能与卓越安全的大语言模型（LLM）推理服务?

本文摘要本项目旨在应对"隐语杯"密态大模型推理挑战赛的核心命题：如何在不可信的云环境中，构建兼具极致性能与卓越安全的大语言模型（LLM）推理服务。

2025-11-04

RWKV-7 论文即将发布，推理模型 G1 系列训练中！国外社区发布 72B 模型

每个 RWKV-7 内有多个小模型，RWKV-7 在推理时会自动训练这些小模型。RWKV-7 的 state 就是这些小模型的参数。

2025-02-28

大模型 AI 框架昇思 MindSpore 2.3.RC1 发布，训练、推理性能大幅提升，JIT 编译强化

大模型大规模商用之后，推理消耗的算力规模将十分庞大，相应地带来高昂的成本，商业闭环依赖推理规模突破。

2024-04-24

飞捷科思全面开源Fysiverse-3D：以统一空间推理构建可执行3D世界

覆盖从一句话到一个可执行世界的完整链路：首先，可验证空间文生图方案SpatialGuard对自然语言中的空间意图进行显式规划，生成空间关系准确、可验证的视觉观测，为下游重建提供可靠输入；随后，统一空间推理模型

2026-09-24

本体平台总体架构：从需求到本体建模，从本体模型驱动的AI应用构建和数据分析推理

大家好，我是人月聊IT。今天聊下本体平台的整体规划和架构设计的关键点，供大家参考。

2026-09-10

体育AI视觉分析：从骨骼关键点到云端推理，一次看懂它如何看懂运动员的每个动作

在青训场馆或体育课堂上，教练常常面临这样的困境：一个技术动作是否标准，全凭肉眼观察和经验判断；一次跑跳的爆发力如何，只能靠秒表和皮尺粗略估计；一堂训练课的质量如何，复盘时缺乏客观数据支撑。体育AI视觉分析，正是通过普通摄像头捕捉运动员的动作，在云端或边缘设备上完成从视频到结构化数据的转换，最终输出教练能直接使用的动作指标和训练建议。

2026-09-07

蓝耘元生代模型部署实测：用 DeepSeek-V3.2 处理 100 条反馈，兼谈批量推理踩坑

假设运营同学手里有 100 条用户反馈，要把它们分成“功能缺陷、性能与稳定性、易用性与交互”等类别。最直观的做法，是把反馈逐条复制给模型，再把回答粘回表格。数据少时这能用；数量一上来，真正麻烦的往往不是“模型会不会分类”，而是下面这些管理问题：哪一条已经完成，失败后从哪里继续，输出格式是否一致，调用了多少 Token，以及结果能否被程序再次检查。

2026-08-28

私有化企业AI知识库技术架构：从数据采集到模型推理的全链路架构设计

本文从CTO与首席架构师的视角，系统剖析企业私有化AI知识库的六层架构模型，涵盖数据采集层、存储层、处理层、索引层、检索层、推理层及应用层的全链路设计，并深入探讨贯穿全链路的物理级数据隔离安全架构。

2026-07-23

从源码剖析 vLLM 的显存管理与连续批处理：大模型推理吞吐量提升 20 倍的底层密码

vLLM 通过 PagedAttention 和 Continuous Batching 两大杀手锏，将吞吐量提升 20 倍以上。本文将深入 vLLM 源码目录（vllm/），带大家看透这套“虚拟内存式”的显存管理系统究竟是如何运作的。

2026-07-22

MicroCharNet车牌字符检测mAP@50达0.85，推理速度1ms，轻量王者

深耕计算机视觉与深度学习领域，专注于视觉检测前沿技术的探索与突破。长期致力于YOLO系列算法的结构性创新、性能极限优化与工业级落地实践，旨在打通从学术研究到产业应用的最后一公里。

2026-07-17

RWKV7-G1 2.9B 推理模型开源发布，展示数学/代码/全球语言能力，已适配手机 App

2025 年 5 月 20 日，RWKV 基金会开源了 RWKV7-G1 2.9B 推理模型（Reasoning Model）。

2025-05-21

RWKV7-G1 0.1B 推理模型发布，最适合嵌入式的纯血 RNN 模型

2025 年 3 月 10 日，RWKV 基金会发布第一个 RWKV-7 推理模型（Reasoning Model）： RWKV7-G1 0.1B。

2025-03-11

助力药物研发，低成本加速AlphaFold训练从11天到67小时，11倍推理加速——开源解决方案FastFold

，且总成本更低，在长序列推理中也实现9.3 ∼ 11.6倍提升。

2022-03-18

训练、推理、Reasoning、Tools、Agent：一篇文章理清大模型全链路

OpenAI 的 GPT 系列、Anthropic 的 Claude、Google 的 Gemini，国内的 DeepSeek、Qwen，以及 xAI 的 Grok，都在不断推出新模型。竞争重点也从最早的语言和知识能力，快速扩展到 Reasoning、代码、长上下文、工具调用和 Agent。

2026-08-19

跨病种共病关联挖掘：高血压 + 糖尿病 + 肾病，混元大模型因果推理疾病关联分析实践19.2

在日常慢病临床与健康大数据场景里，高血压、2 型糖尿病、慢性肾病从来都不是单独存在的疾病。很多患者先是血压升高，长期代谢紊乱诱发血糖异常，久而久之肾脏微血管持续受损，一步步进展为慢性肾病，三种疾病相互叠加、恶性循环，最终大幅提升并发症、致残与死亡风险。

2026-08-12

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。