搜索[本地推理]结果-低调大师优秀个人博客

精选列表

搜索[本地推理]，共10000篇文章

LLaMA架构深度解析：从开源大模型设计到高效推理的工程实现全流程

2023年Meta发布LLaMA系列模型，标志着开源大模型时代的到来。LLaMA-1证明了使用公开数据训练可以接近GPT-3级别的性能；LLaMA-2引入了GQA和更长的上下文；LLaMA-3在15T token上训练，性能全面超越GPT-3.5。LLaMA的架构设计影响了几乎所有后续开源模型——Alpaca、Vicuna、CodeLlama等都是基于LLaMA微调的。LLaMA的工程价值在于其简洁高效的架构：Decoder-Only、RoPE、RMSNorm、SwiGLU、GQA的组合成为现代大模型的事实标准。本文将深入解析LLaMA的架构设计并提供完整实现。

2026-08-24

Vera1.1 推理压测：不同画布尺寸下吞吐量、显存、延迟基准测试

AI 视频生产规模化落地的核心前提，是可量化的性能基准与可预期的算力成本。当前很多团队部署 Vera1.1 时，普遍依赖经验估算硬件需求，要么显存预留不足导致大画幅任务频繁 OOM，要么算力资源闲置造成成本浪费；尤其无限画布场景下，不同尺寸、分块策略的性能差异极大，缺乏统一基准数据支撑决策。

2026-08-21

大模型推理服务化：从 Embedding 到 LLM 的 K8s 部署全流程

摘要：大模型推理是 AI 应用提供服务的最终环节，通常表现为大规模、高并发、请求突发性强的在线服务。腾讯云容器服务 TKE 围绕模型推理场景提供推理加速框架 TACO、GPU 共享技术 qGPU、超

2026-08-10

跨越"决策盲区"：Agent推理链透明化、可解释性与实时审计实战

2026年8月，AI Agent已从"能做事"迈向"能决策"，但随之而来的"决策黑箱"问题正成为企业落地的最大绊脚石。Gartner最新《AI Agent Trust & Transparency Report》显示，68%的企业高管表示"无法信任无法解释决策过程的Agent"；而在金融风控、医疗诊断、司法辅助等高监管领域，欧盟AI Act和中国《生成式AI服务管理办法》已明确要求"高风险AI系统必须提供可追溯的决策依据"。更棘手的是，当Agent在ReAct循环中经历5轮工具调用、3次自我反思后给出最终答案，连开发者自己都无法还原"它为什么这么做"。

2026-08-09

VLLM大模型高效加载原理解析PagedAttention核心机制、推理流程、性能优化.182

通过反复对大模型的学习了解，我们知道Transformer架构大模型普遍存在参数量庞大、显存占用极高、推理并发能力弱、长文本对话卡顿、批量请求处理效率低下等行业痛点。

2026-08-01

多模型推理GPU利用率优化：队列感知路由与动态批处理实战指南

这类“忙闲不均”会直接拉高推理延迟的 P99，甚至迫使业务侧提前扩容。

2026-07-28

林俊旸从阿里离开后首度发声：推理模型的时代快结束了

DeepSeek-R1证明了推理风格的后训练可以在原始实验室之外被复现和规模化。OpenAI将o1描述为一个通过强化学习训练的模型，让它「在回答之前先思考」。

2026-07-28

推理缺口视角下企业隐秘入侵链路与反钓鱼闭环防御技术研究

The Reasoning Gap: Your Organization’s Secret Invasion Is Already Underway》报道揭示的企业安全核心痛点 —— 防御体系存在系统性推理缺口

2026-07-27

Google Gemma 4：把多模态、推理和端侧效率塞进一套模型

大模型的升级，常被简化成一场参数竞赛：更多参数、更高分数、更贵的推理。但 Gemma 4 技术报告给出的方向恰好相反——真正困难的，是让模型同时更会推理、更懂图像与声音，还能在不同硬件上跑得动。

2026-07-17

物流行业的本体模型构建和AI大模型经营分析推理-原型案例参考

大家好，我是人月聊IT，今天分享一篇物流行业基于本体建模进行经营分析的案例原型，供参考。

2026-07-11

把易经六十四卦做成了 AI 推理引擎，端到端只要 0.79 毫秒

近日，独立开发者孙永吉发布了一款名为"太极矩阵"（TaiChi Matrix）的AI推理优化工具链。

2026-06-15

OpenAI 推理模型推翻 80 年几何猜想：AI 首次自主证明 Erdős 开放问题

OpenAI近日宣布，其内部推理模型生成了一份原创数学证明，推翻了保罗·Erdős于1946年提出的单位距离猜想——一个困扰数学家近80年的离散几何开放问题。

2026-05-21

谷歌 Gemini 3 Flash 新增“Agentic Vision”功能：将视觉推理与代码执行相结合

谷歌宣布其 AI 模型 Gemini 3 Flash 增加了一个全新的视觉能力模块 Agentic Vision，旨在让模型在处理图像时更像人类专家，而不是静态“看一眼就猜”。过去的大多数 AI 视觉模型都是“静态看图”：它们接收一张图片，试着一次性理解内容。但这样做，若遇到细节极小、信息密集的视觉任务（比如识别微小字符、远处标志等），结果往往不够精确。 Agentic Vision 的核心创新在于引入了一种类似调查式的视觉分析流程 — 让模型像工程师一样“思考→操作→观察”，从而依据视觉证据得出更可靠的结论。 Think（思考）：模型根据用户提问和初始图像制定一个多步骤分析计划。 Act（执行）：通过自动生成并执行 Python 代码，模型对图像进行剪裁、旋转、标注、计数等操作。 Observe（观察）：处理后的图像被加入上下文，模型在新的视角下重新分析并回答。这种“看 → 处理 → 再看”的循环式分析，让 Gemini 在视觉任务的准确性上平均提升 5–10%。目前 Agentic Vision 能力已经在 Gemini AI Studio、Vertex AI 中通过 Gemini API 提供，未来也将陆续在 Gemini App 的“Thinking 模式”中对用户开放。开发者只需在工具里启用“Code Execution”（代码执行）功能即可调动这个能力。

2026-01-28

Omni-Infer v0.8.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.8.0 已经发布，超大规模 MoE 模型推理加速技术。

2026-01-20

技术解码：Character.ai 如何实现大模型实时推理性能 2 倍提升

Character.ai 团队希望提升 GPU 性能，并降低推理成本。其应用需要在大规模场景下保持极低延迟。

2026-01-16

Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.7.0 已经发布，超大规模 MoE 模型推理加速技术。

2025-12-10

Omni-Infer v0.6.0 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.6.0 已经发布，超大规模 MoE 模型推理加速技术。

2025-11-11

复旦大学与美团联合发布 R-HORIZON，长链推理评测框架

复旦大学与美团LongCat联合推出 R-HORIZON——首个系统性评估与增强 LRMs 长链推理能力的评测框架与训练方法。

2025-10-29

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.4.2 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括：核心特性支持DeepSeek-v3.2-EXP with DSA Omni Proxy，高性能PD

2025-09-29

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术

Omni-Infer v0.4.1 已经发布，超大规模 MoE 模型推理加速技术此版本更新内容包括： v0.4.1 核心特性稳定性压测与优化支持模型列表模型硬件精度类型部署形态 DeepSeek-R1

2025-09-23

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。