搜索[本地推理]结果-低调大师优秀个人博客

精选列表

搜索[本地推理]，共10000篇文章

ChatGPT小型平替之ChatGLM-6B本地化部署、接入本地知识库体验 | 京东云技术团队

本文期望通过本地化部署一个基于LLM模型的应用，能让大家对构建一个完整的应用有一个基本认知。

2023-06-20

大模型微调与API中转：从训练到推理的无缝衔接

然而，从模型训练到最终的API推理落地，中间往往存在巨大的工程鸿沟。本文旨在探讨如何构建一条从模型训练到推理的无缝衔接链路，并分析当前主流API中转平台在这一过程中的角色。

2026-09-29

DeepSeek 大模型：20 行代码，把强推理接入你的应用

DeepSeek 的出现，把这三件事同时往下压了一截：开源模型可自部署，API 兼容 OpenAI，推理成本低，复杂任务还能切换到推理模型。

2026-09-23

# AI 把推理和编程变便宜，将激发什么成为蓝海

技术史的每一次浪潮，底层逻辑都惊人地一致：当某项核心资源从稀缺变为充裕，经济活动的组织方式就会被重写，蓝海随之涌现。

2026-09-16

AIP 架构总览：把大模型拧紧到 Ontology 的推理—行动闭环

前面几篇我们把 Palantir 的几层地基铺开了：Ontology 是那层语义契约，Foundry 负责把数据算出来、把流程跑起来，Apollo 把这一切部署到哪怕最严苛的隔离环境里。这一篇讲压在最上面的那一 intelligent 层，AIP（Artificial Intelligence Platform）。

2026-09-11

大语言模型推理性能优化：从理论到落地实践

大语言模型（LLM）在对话、代码生成等任务上展现了惊人能力，但其推理阶段的高延迟与显存占用正成为规模化部署的拦路虎。

2026-08-27

企业级语言模型算法实战：从推理加速到应用突围

过去两年，我参与了数个日请求量千万级的大模型项目，从智能客服到代码辅助，再到RAG知识库。一个被反复验证的残酷事实是：80%的项目死于上线后第一个月——不是模型能力不够，而是延迟太高、成本失控、幻觉修不了。

2026-08-27

基于Python与LLM的RAG系统实战：从Embedding到推理优化

检索增强生成（RAG）是当前大模型落地中最具工程价值的范式之一。然而，许多开发者止步于langchain的几行demo，面对百万级文档的召回延迟、上下文窗口的预算冲突、多模态Embedding的对齐灾难时，往往束手无策。

2026-08-15

研究者发现可以从商业 LLM API 中窃取推理轨迹

推理模型（如 OpenAI o 系列、Claude 的扩展思考）在回答用户问题之前会进行内部推理，这些推理过程通常对用户不可见，被认为是模型提供商的商业机密和核心 IP。

2026-08-13

医疗影像 AI：容器化推理服务如何满足 HIPAA 合规要求

摘要：医疗影像 AI 推理服务的容器化部署需在性能与合规间取得平衡。本文介绍基于腾讯云 TKE 构建符合 HIPAA 要求的医学影像分析平台，结合 vArmor 容器防护、TencentOS Ser

2026-08-12

走出“Token黑洞”：Agent推理加速、成本治理与端云协同实战

Gartner最新数据显示，生产级Agent的月度推理成本平均超出预算4.2倍，其中68%的支出源于无效Token消耗、冗余模型调用与低效架构设计。

2026-07-29

从Stem稀疏注意力看大模型推理的架构取舍

为什么大多数稀疏注意力停在论文里，而Stem跑通了全栈？答案不在算法本身，在架构思维。

2026-07-14

AI下的软件开发思考：以推理速度交付产品？

早上看了一篇Andrej Karpathy转发的文章，作者是Peter Steinberger，文章是他2025年的个人编程总结：

2026-07-10

谷歌发布 Gemini 3.1 Flash-Lite，主推高性价比与高效推理

谷歌正式发布Gemini 3.1 Flash-Lite，作为其Gemini系列中最新一代轻量级多模态AI模型。该模型专为高吞吐、低复杂度任务设计，在成本与速度上显著优化：输入价格为每百万token 0.25美元，输出为1.50美元，远低于Gemini 3.1 Pro。性能方面，Gemini 3.1 Flash-Lite在内部测试中较前代Gemini 2.5 Flash提速45%，首token响应时间缩短至2.5倍更快。其支持最多100万token的上下文输入，可生成长达64,000 token的文本，包括可执行代码，适用于生成BI仪表盘等可视化资产。在11项基准测试中，该模型在6项中表现最优，超越GPT-5 mini与Claude 4.5 Haiku，并在博士级科学问答集GPAQ Diamond中取得领先。尽管在高难度HLA基准上得分为16%（Gemini 3.1 Pro为44.4%），其定位明确聚焦于翻译、内容审核、原型生成等高并发场景。目前，Gemini 3.1 Flash-Lite已在Google Cloud Vertex AI平台开放预览，并集成于Google AI Studio，供开发者通过自然语言快速构建应用。

2026-03-04

商汤开源 SenseNova-MARS：突破多模态搜索推理天花板

今日，商汤正式开源多模态自主推理模型 SenseNova-MARS（8B/32B 双版本），其在多模态搜索与推理的核心基准测试中以 69.74 分超越Gemini-3-Pro（69.06 分）、GPT-

2026-01-30

vLLM 推理 GPU 选型指南：显存、KV Cache 与性能瓶颈全解析

常见数据中心 GPU 的显存容量以下是当前主流推理 GPU 的物理显存上限，也是模型部署时不可突破的硬限制。

2026-01-23

DeepSeek V3.2 正式版：强化 Agent 能力，融入思考推理

新模型技术报告已同步发布： https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2/resolve/master/assets/paper.pdf 推理能力全球领先

2025-12-01

从 RAG 到 KAG ：结构化思考范式下的复杂推理

；领域适配难：行业术语、规则体系与通用模型存在语义断层；推理脆弱性：多步推理中易因知识缺失或逻辑断点导致结果偏差。

2025-11-28

Meta 研究人员揭开大语言模型黑箱，修复 AI 推理缺陷

Meta 的人工智能研究团队与爱丁堡大学合作，开发了一种新技术，能够预测大型语言模型（LLM）推理的正确性，并在发现错误时进行修复。

2025-10-31

蚂蚁开源首个万亿参数推理大模型 Ring-1T-preview

根据介绍，在大规模强化学习训练的早期，1T 语言基座的思考模型版本 Ring-1T 就已经表现出强大的自然语言推理思考能力。

2025-09-30

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。