搜索[推理引擎]结果-低调大师优秀个人博客

精选列表

搜索[推理引擎]，共10000篇文章

Android WebView启动Chromium渲染引擎的过程分析

Chromium渲染引擎由Browser、Render和GPU三端组成。

2016-12-05

解耦神器 —— 统跳协议和Rewrite引擎

Rewrite引擎是与之配合的一套URL重写引擎，可以通过配置实现重写规则动态化。

2016-11-21

基于容器引擎的Titan1.0入门指南

分布式图数据库Titan是基于大数据的关系分析可选的底层引擎。本文主要介绍如何借助Docker快速实现Titan的入门。

2016-08-17

Spark-构建基于Spark的推荐引擎

推荐引擎推荐引擎就是是预测人们可能喜好的物品并通过探寻物品之间的联系来辅助这个过程。从这点上来说，它同样也做预测的搜索引擎互补。

2016-05-17

第四篇 | ReAct、规划、树搜索与自审查：怎样选择推理和协作方式

某中级人民法院的在线诉讼平台收到一个起诉材料包：起诉状、原告营业执照、授权委托书、证据清单和十几页扫描件。立案助理 Agent 可以先逐项核对要件，再根据核对结果决定下一步；可以先列出一份审查计划；也可以召集身份核对、规则核对、证据核对三个角色共同处理。三种系统都可能形成一份补正清单，却未必在解决同一种困难。身份核验接口返回不确定结论、管辖连接点互相矛盾、规则库存在多个版本、证据清单与附件对不上，这些问题需要的控制机制并不相同。

2026-11-01

DeepInfer 部署完整指南（2026 年 10 月）：Python 3.12、CUDA 13/CANN 9.2 与离线推理

> 发布日期：2026-10-22 DeepInfer 是 DeepSeek 于 2026 年 10 月公开的高性能推理框架，当前开源代码面向 DeepSeek-V4.1-Flash 的离线推理，支持

2026-10-22

开发转型AI Agent研发：拆解 Agent 的记忆系统、推理链路与决策机制

## 二、推理链路 —— Agent 的“思维模型”与“任务编排” 这是 Agent 最像“人”的地方。大模型本身只是一个“接话茬”的概率机器，推理链路是强迫它 “三思而后行” 的逻辑结构。

2026-10-19

AI 推理算力为什么反超训练？一文看懂算力结构变化

多家机构的测算指向同一结论：2026 年全球 AI 推理相关支出首次超过训练支出；中国市场的推理算力占比也已越过一半，并继续上行。

2026-10-09

JEV模型输出的概率未经校准，如何设计置信度阈值、拒答机制与分级推理？**

V1 跑到这里已经有两个留下的问题：校准参数需要业务标注数据、且分布漂移后必须重拟合；决策引擎虽然留了拒答入口，但还没有真正消费模型侧的拒答信号。

2026-10-08

大模型训练与推理：API中转站在企业AI落地中的隐藏价值

OpenRouter以其丰富的模型库和灵活的横向对比能力，成为个人研究和技术尝鲜的热门选择；SiliconFlow则凭借在国产开源模型推理优化上的出色表现，吸引了大量成本敏感型开发者。

2026-09-17

Mistral融资30亿欧元，估值210亿：大模型战争开始争夺推理入口

大模型战争正在从参数、榜单和发布会，进一步转向推理基础设施、API入口和企业控制权。

2026-09-08

这6个优化技巧让LLM推理成本直降

## 一、详细描述随着深度学习模型（尤其是大语言模型）规模不断增长，推理阶段的计算和存储开销成为实际部署中的主要瓶颈。

2026-09-02

推理成本显性化之后：端云协同语音系统的模型分层路由设计

**信号一：推理成本首次成为财报单列项。** 某头部云厂商最新一季财报首次将 AI 应用业务单独披露：该板块收入约 33 亿元，经调整 EBITA 亏损约 139 亿元，亏损同比扩大逾三倍。

2026-08-27

LLaMA架构深度解析：从开源大模型设计到高效推理的工程实现全流程

# LLaMA架构深度解析：从开源大模型设计到高效推理的工程实现全流程 ## 一、引言：LLaMA如何改变开源大模型格局 2023年Meta发布LLaMA系列模型，标志着开源大模型时代的到来。

2026-08-24

Vera1.1 推理压测：不同画布尺寸下吞吐量、显存、延迟基准测试

本文基于标准化压测方案，覆盖从 1080P 标准画幅到 8K 超宽无限画幅的 6 类主流生产场景，在多硬件平台下完成全量推理压测，输出延迟、显存、吞吐量三项核心基准数据，拆解性能变化规律，配套生产环境调优清单与云平台选型建议

2026-08-21

Qwen3.8-27B 本地部署指南：双 RTX 3090、WSL2 与推理优化

- 魔搭社区 2026 年模型页显示 BF16 文件约 55.6 GB，超过双 RTX 3090 合计 48 GB 显存，且推理还需 KV Cache 与运行时空间。

2026-08-19

大模型推理服务化：从 Embedding 到 LLM 的 K8s 部署全流程

## 一、大模型推理服务化的核心挑战模型推理作为 AI 应用面向用户的最后一环，承载着将训练成果转化为实际价值的关键使命。

2026-08-10

跨越"决策盲区"：Agent推理链透明化、可解释性与实时审计实战

；模型升级后效果变差，无法定位是哪一步推理退化。

2026-08-09

VLLM大模型高效加载原理解析PagedAttention核心机制、推理流程、性能优化.182

批量离线推理等真实生产场景。

2026-08-01

多模型推理GPU利用率优化：队列感知路由与动态批处理实战指南

这类“忙闲不均”会直接拉高推理延迟的 P99，甚至迫使业务侧提前扩容。

2026-07-28

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。