搜索[模型推理]结果-低调大师优秀个人博客

精选列表

搜索[模型推理]，共10000篇文章

2026年AI大模型生产落地：基于腾讯云原生服务的微调、推理与RAG全栈优化实

2026年，大模型已从“参数竞赛”全面转向“效果-成本-速度”的三维工业化博弈。企业不再满足于调用 API，而是将模型私有化部署于云原生环境，以实现数据安全、定制化微调和毫秒级推理延迟。

2026-08-05

小参数也能做强推理！微博VibeThinker-3B引海外关注，探索AI模型新路径

作为一个仅有30亿参数的密集推理模型，它在包括数学解题、竞赛编程等高难度可验证推理任务上，已经进入Gemini 3 Pro、GPT-5 high、Claude Opus 4.5、GLM-5、Kimi K2.5

2026-06-25

幂等性在大模型服务中的核心应用：解决重复请求、重复扣费与重复推理问题.171

在大模型API接口、对话会话服务、知识库RAG接口线上落地过程中，重复请求是无法规避的常态问题。

2026-07-20

具身世界认知基座模型 Hy-Embodied-RxBrain-1.0 发布：让机器人大脑“会推理”且“会想象”

机器人进入开放环境后，不仅需要知道“下一步做什么”，还需要理解“为什么这样做”以及“完成后世界应该变成什么样”。

2026-07-17

大模型 AI 框架昇思 MindSpore 2.3.RC1 发布，训练、推理性能大幅提升，JIT 编译强化

大模型大规模商用之后，推理消耗的算力规模将十分庞大，相应地带来高昂的成本，商业闭环依赖推理规模突破。

2024-04-24

本体平台总体架构：从需求到本体建模，从本体模型驱动的AI应用构建和数据分析推理

大家好，我是人月聊IT。今天聊下本体平台的整体规划和架构设计的关键点，供大家参考。

2026-09-10

蓝耘元生代模型部署实测：用 DeepSeek-V3.2 处理 100 条反馈，兼谈批量推理踩坑

最直观的做法，是把反馈逐条复制给模型，再把回答粘回表格。

2026-08-28

向量数据库与图数据库协同实践：融合大模型搭建图数据知识检索与关联推理智能应用24.2

基于大模型应用落地，我们最先接触的方案就是RAG检索增强生成。基本一开始只简单接入向量数据库，把文档切片向量化存储，依靠相似度匹配召回文本交给大模型。

2026-10-02

腾讯云CVM端云混合推理：硅碳相变下3D CIM存算芯片对大模型API成本与选型冲击

腾讯云CVM端云混合推理：硅碳相变下3D CIM存算芯片对大模型API成本与选型冲击后摩智能确认下一代大模型端边AI芯片走3D CIM存算一体架构，这事我盯了挺久。

2026-09-24

ollama v0.32.1发布详解：工具调用更稳、多轮推理更强、内存泄漏修复、模型加载超时生效与交互体验全面升级

从内容上看，这一版的重点并不在“堆叠新功能”，而在于“把已有能力做得更稳、更顺、更适合真实开发环境”。这也是很多成熟工具链迭代时最有价值的一类更新。

2026-07-21

大模型AI服务工程化部署与运维实践：推理性能调优、接口开发、监控告警全流程实操25.0

如今大模型技术已经不再是实验室里的小众技术，各行各业都在落地AI大模型应用，智能问答、内容生成、智能办公、工业研判等场景，都离不开大模型服务的支撑。

2026-10-10

vLLM高吞吐推理引擎：本地高并发推理服务

Ollama 把"一个人用本地模型"做到了极致，但它的默认假设是单用户：请求一次一个，排队执行。等到多个人共用一台机器，或者要把模型接进内部应用当服务用，瓶颈就露出来了。

2026-10-08

使用TensorRT 和多设备推理支持，跨多个 GPU 扩展 AI 推理

对于构建媒体生成工作流的推理开发者而言，面临的挑战是在不牺牲 NVIDIA TensorRT 为生产部署提供的关键优化 (如内核融合、内存规划和量化) 的情况下跨多个设备进行扩展。

2026-08-12

视频推理框架进展I

摘要：近年来，测试时间优化的进步使得大模型（LLM）在推理能力方面取得了显著的提升，使它们能够解决数学和编码方面高度复杂的问题。

2026-07-13

Msnhnet —— 小型 PyTorch 推理框架

Msnhnet 是一个受 Darknet 启发的小型 PyTorch 推理框架。特性：由纯c++和cuda编写而成。支持主流平台，windows, linux, macOS等。

2022-06-23

AI平台-MNN【推理引擎】

1、MNN简介 MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。

2019-05-06

LLM 推理优化探微 (1) ：Transformer 解码器的推理过程详解

编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。

2024-01-31

1.3 推理延迟：线上响应慢

本站本系列目录链接，非广告：https://cloud.tencent.com.cn/developer/article/2715462

2026-07-25

EAGOR：全方位具身推理

EAGOR: Embodied reAsoninG in Omni-diRection

2026-07-13

PageIndex - 基于推理的 RAG 系统

PageIndex是一个基于推理的 RAG系统，它构建长文档的树状索引，并基于该索引进行推理以进行检索。

2025-11-06

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。