搜索[模型推理]结果-低调大师优秀个人博客

精选列表

搜索[模型推理]，共10000篇文章

这6个优化技巧让LLM推理成本直降

随着深度学习模型（尤其是大语言模型）规模不断增长，推理阶段的计算和存储开销成为实际部署中的主要瓶颈。推理优化的目标是：在尽可能保持模型精度的前提下，降低推理延迟、提高吞吐量、减少内存占用和能耗。

2026-09-02

Vera1.1 推理压测：不同画布尺寸下吞吐量、显存、延迟基准测试

AI 视频生产规模化落地的核心前提，是可量化的性能基准与可预期的算力成本。当前很多团队部署 Vera1.1 时，普遍依赖经验估算硬件需求，要么显存预留不足导致大画幅任务频繁 OOM，要么算力资源闲置造成成本浪费；尤其无限画布场景下，不同尺寸、分块策略的性能差异极大，缺乏统一基准数据支撑决策。

2026-08-21

Qwen3.8-27B 本地部署指南：双 RTX 3090、WSL2 与推理优化

发布日期：2026-08-18｜适用环境：Windows 10/11 + WSL2 + 2×RTX 3090（24GB）

2026-08-19

跨越"决策盲区"：Agent推理链透明化、可解释性与实时审计实战

2026年8月，AI Agent已从"能做事"迈向"能决策"，但随之而来的"决策黑箱"问题正成为企业落地的最大绊脚石。Gartner最新《AI Agent Trust & Transparency Report》显示，68%的企业高管表示"无法信任无法解释决策过程的Agent"；而在金融风控、医疗诊断、司法辅助等高监管领域，欧盟AI Act和中国《生成式AI服务管理办法》已明确要求"高风险AI系统必须提供可追溯的决策依据"。更棘手的是，当Agent在ReAct循环中经历5轮工具调用、3次自我反思后给出最终答案，连开发者自己都无法还原"它为什么这么做"。

2026-08-09

推理缺口视角下企业隐秘入侵链路与反钓鱼闭环防御技术研究

The Reasoning Gap: Your Organization’s Secret Invasion Is Already Underway》报道揭示的企业安全核心痛点 —— 防御体系存在系统性推理缺口

2026-07-27

把易经六十四卦做成了 AI 推理引擎，端到端只要 0.79 毫秒

近日，独立开发者孙永吉发布了一款名为"太极矩阵"（TaiChi Matrix）的AI推理优化工具链。

2026-06-15

谷歌 Gemini 3 Flash 新增“Agentic Vision”功能：将视觉推理与代码执行相结合

谷歌宣布其 AI 模型 Gemini 3 Flash 增加了一个全新的视觉能力模块 Agentic Vision，旨在让模型在处理图像时更像人类专家，而不是静态“看一眼就猜”。

2026-01-28

复旦大学与美团联合发布 R-HORIZON，长链推理评测框架

链式推理：模型必须顺序解决所有子问题才能获得最终答案方法优势：灵活扩展：可自由控制推理链长度（n=2, 4, 8...）

2025-10-29

更快的训练和推理: 对比 Habana Gaudi®2 和英伟达 A100 80GB

通过本文，你将学习如何使用 Habana® Gaudi®2 加速模型训练和推理，以及如何使用 🤗 Optimum Habana 训练更大的模型。

2023-08-02

[EuroSys2023 Best Poster] 面向动态图的极低时延GNN推理采样服务

由于在线学习容易造成模型的抖动，在实际生产应用中，模型的部署也通常需要经过复杂的生产链路，因此一般采用近线模型进行部署，为了让GNN模型能够实时表征邻域信息，在GNN模型的推理过程中，需要通过实时的采样图结构和属性来进行实时推理

2023-06-05

高手过招:用SQL解决环环相扣的刑侦推理问题(苏旭辉版本)

为了用户和开发者方便的进行功能扩展，SOFARPC 提供了丰富的模型抽象和可扩展接口，包括过滤器、路由、负载均衡等等。

2018-06-20

DeepMind说机器推理水平能超人类，现在有人把代码搞出来了

前天，DeepMind发布两篇新论文，探讨了深度神经网络利用非结构化数据进行复杂关系推理的能力。（报道传送门）在第一篇论文，DeepMind证明神经网络在简单关系推理中，表现超过人类。

2018-01-01

这篇文章会告诉你DeepMind关系推理网络的真实面貌

比如关于该关系推理网络的报道： DeepMind开发了一种神经网络，能够感知其周围的物体。实际上这种报导不仅仅是误导性的，而且使得很多不明真相的吃瓜群众感到恐慌：AI真的已经强到如此地步了吗？

2017-10-23

C4模型

C4模型是由Simon Brown提出的软件架构可视化标准，旨在通过4个核心层级，让架构图从“一张混乱的大图”变为“分层次、精准沟通”的工具。

2026-09-09

大模型幻觉测试

本方法为企业级可落地的全流程幻觉测试体系，融合学术界权威基准与工业界工程实践，覆盖从口径定义、用例设计、自动化执行、量化打分到归因优化的完整闭环。

2026-09-08

视觉语言模型详解

本文，我们将带大家一览视觉语言模型领域: 作个概述、了解其工作原理、搞清楚如何找到真命天“模”、如何对其进行推理以及如何使用最新版的 trl 轻松对其进行微调。什么是视觉语言模型？

2024-05-06

Stage模型深入解读

HarmonyOS 3.1版本（API 9）推出了全新应用开发模型-Stage模型，该模型重新定义了应用开发的能力边界，从应用开发模型的角度，支持多窗口形态下统一的应用组件生命周期，并支持跨设备的迁移和协同机制

2023-03-15

KubeCube 多级租户模型

本文是第二篇，深度解读 KubeCube 的多级租户模型设计。

2021-09-23

CSS盒子模型

CSS盒子模型（上）盒子模型（Box Model）是CSS控制页面时一个很重要的概念。只有很好地掌握了盒子模型以及其中每个元素的用法，才能真正地控制好页面中的各个元素。

2021-06-07

JavaScript DOM 事件模型

btn <li>1</li> <li>2</li> <li>3</li> <li>4</li> var oBtn = document.getElementsByTagName('button')[0], oList = document.getElementsByTagName('ul')[0], oLi = oList.getElementsByTagName('li'); oBtn.onclick = function () { var li = document.createElement('li'); li.innerText = oLi.length + 1; oList.appendChild(li); } oList.onclick = function (ev) { var ev = ev || window.event, tar = ev.target || ev.srcElement; // tar 即为被点击的 li 元素 console.log(tar.innerHTML); // 返回在所有兄弟元素中的索引，借用数组 indexOf 方法 console.log(Array.prototype.indexOf.call(oLi, tar)); }

2020-04-02

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。