搜索[推理引擎]结果-低调大师优秀个人博客

精选列表

搜索[推理引擎]，共10010篇文章

SpringBoot2整合Thymeleaf，官方推荐html解决方案

前言什么是Thymeleaf Thymeleaf是适用于Web和独立环境的现代服务器端Java模板引擎。

2025-09-05

SpringBoot2更换Tomcat为Jetty，小型站点的福音

Jetty和tomcat的比较相同点： Tomcat和Jetty都是一种Servlet引擎，他们都支持标准的servlet规范和JavaEE的规范。

2025-09-05

Redis 之父又出手了：一个 C 写的原生 MiniMax-H3 推理引擎，让 Mac 本地跑视频生成

继DeepSeek V4 Flash 专用推理引擎 ds4之后，Redis 作者 antirez（Salvatore Sanfilippo）又出手了——h3.c，一个纯 C 语言写成的

2026-08-11

mica-ppocr v1.2.3 发布：Java 8 兼容的 PP-OCRv6 纯 ONNX 推理引擎，内置 10 类证件/票据结构化解析

项目简介 mica-ppocr 是 PP-OCRv6 文字检测与识别流水线的 Java 移植版，使用纯 ONNX Runtime 推理、零 PaddlePaddle 依赖，并完整复现预处理 / 后处理（

2026-09-20

AI Infra 系列 · 第四章推理引擎 (下)：投机解码、量化、KV 池化、MoE 并行，一张卡当两张用

decode 慢的根源是串行：一次只能生成一个 token，每步都要把全部权重搬一遍。

2026-08-27

专为手机设计的最强高速推理引擎 PowerInfer-2，每秒 11.68 token，比其它最强快 22 倍，来自上海交通大学 IPADS

PowerInfer-2 是专为智能手机设计的高度优化的推理框架。

2024-06-13

AI Infra 系列 · 第四章推理引擎 (上)：为什么 LLM 一次只蹦一个 token，vLLM 和 SGLang 到底差在哪

推理是单行道：用户的问题（prompt）先整体算一遍（这叫 prefill），然后一次只能生成一个 token（这叫 decode）。

2026-08-26

WorkBuddy 起势之后，是时候用 CGI 引擎(约束导引推理)开启腾讯 B 端落地的深水区

在 AI-Native（AI 原生）软件工程的演进浪潮中，腾讯的探索令人印象深刻： CNB（云原生构建）提供以 Git 代码协作为底座的一体化研发能力，覆盖托管、云原生构建/开发管理等环节； TAPD 作为研发协作与敏捷管理平台，将智能化能力融入需求、协作与交付流程； WorkBuddy 则面向企业办公场景，提供工作智能体能力与多端任务协同的工作入口。毫无疑问，腾讯已经搭建起具备延展性的研发基建与平台化底座。

2026-07-21

微信开源推理加速工具 TurboTransformers，性能超越 PyTorch/TensorFlow 与主流优化引擎

腾讯宣布开源 Transformer 推理加速工具 TurboTransformers。

2020-04-24

苹果发布 Core AI 框架：整合 CPU、GPU 与神经网络引擎的设备端 AI 推理平台

Core AI的核心理念是将最新模型架构和推理技术与苹果自研芯片的异构计算能力相结合——CPU、GPU和神经网络引擎（Neural Engine）协同工作，根据任务负载自动分配计算资源

2026-06-09

面向 openKylin 智能引擎的开源大模型推理优化赛火热报名中

openKylin AI PC版本是我国首个全开源端侧操作系统智能引擎。然而，端侧设备的计算资源（如 CPU/GPU/NPU）相对有限，难以原生支撑大模型的高效推理。

2025-08-16

阿里巴巴发布首个知识引擎研究计划，联合清华浙大等五大高校攻坚AI推理

近日，阿里巴巴宣布联合清华大学、浙江大学、中国科学院自动化所、中科院软件所、苏州大学 5 所高校发布「藏经阁」（知识引擎）研究计划。

2018-04-30

没有推理轨迹，如何“偷走”模型的推理能力？

很多推理模型在回答复杂问题时，会在内部进行长链条推理，但这些完整的推理轨迹（Reasoning Trace），也就是我们常说的思维链，并不会全部展示给用户。

2026-08-18

推理实践丨如何使用MindStudio进行Pytorch模型离线推理

摘要：本教程所示例的任务是Ascend Pytorch离线推理，即对给定的已经训练好的模型参数和推理脚本，在Ascend 310/710和Tesla设备上进行推理应用。

2022-07-08

大语言模型推理提速，TensorRT-LLM 高性能推理实践

TensorRT-LLM[1]是 NVIDIA 推出的大语言模型（LLM）推理优化框架。

2024-02-21

大语言模型推理提速：TensorRT-LLM 高性能推理实践

TensorRT-LLM [ 1] 是 NVIDIA 推出的大语言模型（LLM）推理优化框架。

2024-01-23

使用TensorRT 和多设备推理支持，跨多个 GPU 扩展 AI 推理

对于构建媒体生成工作流的推理开发者而言，面临的挑战是在不牺牲 NVIDIA TensorRT 为生产部署提供的关键优化 (如内核融合、内存规划和量化) 的情况下跨多个设备进行扩展。

2026-08-12

通义开源推理大模型 QwQ，推理水平比肩 OpenAI o1

11 月 28 日，阿里云通义团队发布全新 AI 推理模型 QwQ-32B-Preview，并同步开源。

2024-11-28

视频推理框架进展I

摘要：近年来，测试时间优化的进步使得大模型（LLM）在推理能力方面取得了显著的提升，使它们能够解决数学和编码方面高度复杂的问题。

2026-07-13

优化故事: BLOOM 模型推理

行百里者半九十，推理优化又是新的雄关漫道。如何进行延迟优化？

2023-04-17

Msnhnet —— 小型 PyTorch 推理框架

Msnhnet 是一个受 Darknet 启发的小型 PyTorch 推理框架。特性：由纯c++和cuda编写而成。支持主流平台，windows, linux, macOS等。

2022-06-23

LLM 推理优化探微 (1) ：Transformer 解码器的推理过程详解

本文是该系列文章的第一篇，作者的核心观点是：透彻理解 Transformer 解码器的推理过程，是实现大语言模型高性能服务的基础。

2024-01-31

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。