搜索[推理服务]结果-低调大师优秀个人博客

精选列表

搜索[推理服务]，共10000篇文章

端侧大模型部署踩坑实录：Qwen + OpenVINO 在 AI PC 上跑通本地推理

半年前我开始琢磨一件事：手上的推理需求里，有相当一部分根本不需要联网。合同条款比对、内部纪要整理、批量日志初筛——这些活儿有两个共同点：素材敏感，且重复率高。

2026-10-08

推理一体机的账怎么算：什么规模值得从云上转到专属

推理一体机最近在社区里的声量明显变大——软硬一体的打包方案，号称「买断式 AI 算力」。作为管过推理成本的人，我的建议是把情绪放一边，这笔账其实结构很清晰，三个变量就能算明白。

2026-09-24

GLM-5.3-FlashX 上线，智谱把国产卡上的推理速度顶到 200 token/s

上一代 GLM 上线时，团队是在 10 万张国产芯片组成的集群上把推理服务从零搭起来的，当时的难点是内存带宽受限、还要扛 1M 上下文和多模态。

2026-09-18

Pulse128口袋事件相机：从128×128事件采集到片上SCNN推理

事件相机开发经常涉及多台设备：传感器负责采集，上位机负责显示和保存，外部计算平台运行算法，惯性传感器还可能需要单独接入。这样的组合适合功能验证，却会增加布线、时间同步和外场部署的复杂度。

2026-09-16

视觉大模型开发：从多模态融合架构到高效训练与推理部署的工程实践

视觉大模型开发：从多模态融合架构到高效训练与推理部署的工程实践，这绝非仅仅是将一张图片“喂”给大语言模型（LLM）那么简单。

2026-09-05

AI全栈驱动的UI自愈测试框架实战：融合视觉感知、LLM推理与强化决策

随着敏捷迭代和UI动态化的激增，传统基于DOM/XPath的UI自动化测试在面对细微布局偏移、样式异常、跨端渲染差异时，往往陷入“断言脆弱、维护昂贵”的困境。本文提出并实现一套融合计算机视觉、大语言模型（LLM）与强化学习（RL）的AI全栈测试框架。框架以卷积自编码器（CAE）实现像素级重构误差检测，结合YOLOv8定位异常区域，通过LLM（Qwen2.5）理解DOM上下文并生成候选修复策略，最终由近端策略优化（PPO）智能体决策最优操作回放。全文提供完整可运行的Python代码、模型训练流水线、pytest集成示例及性能评估数据，所有实验基于公开UI数据集和真实企业级Web应用验证。本文旨在为测试开发工程师提供一套从多模态感知到自适应决策的AI原生测试增强方案。

2026-08-23

专访｜罗长才：GEO与AIGC工程落地中的信源校验、事实推理与认知陷阱

受访人：罗长才，GEO 高级优化师、落地工程师、AIGC 应用工程师采访形式：深度技术访谈采访基调：纯技术实证导向，无营销内容，聚焦大模型事实生成、GEO 知识资产构建、信源工程化校验逻辑摘要：生成式引擎优化（GEO）不只是关键词与内容适配，其底层是一套事实、证据、信源的治理工程。本次访谈从工程实践出发，探讨 “权威” 的相对性、孤证不为证、个体差异下的信息边界、媒体信源甄别、常见认知谬误，结合健康科普案例，给出可落地的 AIGC 信源校验技术框架。

2026-08-20

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

第一章第五节讲过，2026 年推理系统最明确的一条主线，是分离式 Prefill/Decode——把 prefill 和 decode 拆到不同的 GPU 池，各干各的。

2026-08-20

基于STL时序分解与知识图谱推理的AIOps根因定位系统设计与实现

Seasonal-Trend decomposition using LOESS）分解与动态分位数自适应阈值的算法，有效将误报率降低92%；在根因定位层构建运维知识图谱，引入带权PageRank算法进行因果传播推理

2026-08-17

LLM全链路工程实战：从QLoRA大模型微调到vLLM推理的性能极致榨取

在开源大模型（如Llama 3、Qwen2.5）已然具备强大通用能力的今天，企业落地的核心痛点早已从“能不能做”转向了“怎么做才稳、快、省”。作为大模型工程师，我们面临的现实挑战极其残酷：

2026-08-04

浏览器也能秒级处理视频换脸：Timeline Studio 的 WebGPU 本地推理实践

这套架构成熟，但也带来三个问题：素材上传耗时、GPU 服务成本，以及人脸数据离开本机后的隐私压力。

2026-07-31

本地大模型常见异常全解：显存溢出、推理慢、驱动报错、环境冲突调试指南.181

本地大模型即脱离云端API调用，将开源大语言模型权重文件下载至个人电脑、工作站、服务器本地，依托本机硬件算力完成模型加载、上下文编码、文本生成全流程运算的部署模式。

2026-07-31

从推理模型到具身智能：veRL 为什么正在成为后训练基础设施

昨天《训推工坊：以 verl 代码库走读 AI Infra》第 24 篇《Checkpoint Engine：训练权重如何同步给推理引擎》刚刚发布。今天是周日，正好借这个节点做一次阶段总结。

2026-07-23

从经典本体模型推理问题谈起，什么才是本体模型+AI大模型结合的最佳模式

包括分析传统经典本体论的问题，包括为何我当前的本体驱动+LLM推理架构是一种最佳选择。

2026-07-23

从向量检索到图结构推理：RAG 的下一站是知识图谱吗

做过 RAG 的人都懂那种挫败感：明明知识库⾥有答案，模型就是检索不到。传统向量检索的天花板，正在变成大模型应用的天花板。2026 年，GraphRAG 和知识图谱的组合，正在悄悄重塑 RAG 的技术格局。

2026-07-23

腾讯云 2026 年 7 月动态：基础设施升级、AI 推理加速与安全新范式

2026 年 7 月，腾讯云在基础设施、AI 推理和云安全三个方向集中发力。算力底座升级、推理平台优化、安全体系重构，三条线同步推进。

2026-07-17

自进化推理破局导航难题！LLM驱动视觉语言导航全新范式

传统方案直接输入输出映射无推理、思维链训练缺优质标签，难以落地。本文提出EvolveNav两阶段自进化具身推理框架，兼顾精度、可解释性与速度，在四大权威基准登顶SOTA，重新定义LLM视觉语言导航！

2026-07-13

腾讯混元 AI Infra 团队开源 HPC-Ops，高性能 LLM 推理核心算子库

腾讯混元 AI Infra 团队开源生产级高性能 LLM 推理核心算子库 HPC-Ops，该算子库基于生产环境痛点，采用 CUDA 和 CuTe 从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等

2026-01-27

记忆张量携手商汤大装置开启国产 GPGPU 的下一代推理新范式

依托大装置 IaaS ** 的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑；并借助Ignite 框架提供多后端推理适配、KV Cache 管理优化、关键算子加速、跨节点通信调优等性能增强，

2025-12-05

DistilQwen2.5-DS3-0324发布：知识蒸馏+快思考=更高效解决推理难题

DeepSeekV3-0324 默认没有采用深度思考的模式，使得模型推理速度更快，兼顾了快速推理和复杂任务处理之间的平衡。

2025-04-23

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

精选列表

端侧大模型部署踩坑实录：Qwen + OpenVINO 在 AI PC 上跑通本地推理

推理一体机的账怎么算：什么规模值得从云上转到专属

GLM-5.3-FlashX 上线，智谱把国产卡上的推理速度顶到 200 token/s

Pulse128口袋事件相机：从128×128事件采集到片上SCNN推理

视觉大模型开发：从多模态融合架构到高效训练与推理部署的工程实践

AI全栈驱动的UI自愈测试框架实战：融合视觉感知、LLM推理与强化决策

专访｜罗长才：GEO与AIGC工程落地中的信源校验、事实推理与认知陷阱

AI Infra 系列 · 第二章（下）：推理侧 KV 传输——NIXL 如何搬运 prefill 到 decode

基于STL时序分解与知识图谱推理的AIOps根因定位系统设计与实现

LLM全链路工程实战：从QLoRA大模型微调到vLLM推理的性能极致榨取

浏览器也能秒级处理视频换脸：Timeline Studio 的 WebGPU 本地推理实践

本地大模型常见异常全解：显存溢出、推理慢、驱动报错、环境冲突调试指南.181

从推理模型到具身智能：veRL 为什么正在成为后训练基础设施

从经典本体模型推理问题谈起，什么才是本体模型+AI大模型结合的最佳模式

从向量检索到图结构推理：RAG 的下一站是知识图谱吗

腾讯云 2026 年 7 月动态：基础设施升级、AI 推理加速与安全新范式

自进化推理破局导航难题！LLM驱动视觉语言导航全新范式

腾讯混元 AI Infra 团队开源 HPC-Ops，高性能 LLM 推理核心算子库

记忆张量携手商汤大装置开启国产 GPGPU 的下一代推理新范式

DistilQwen2.5-DS3-0324发布：知识蒸馏+快思考=更高效解决推理难题

资源下载

腾讯云软件源

Spring

Sublime Text

WebStorm

欢迎您来访！