搜索[LLM]结果-低调大师优秀个人博客

精选列表

搜索[LLM]，共5765篇文章

门禁工程：人做人该做的事——工业/工贸CRM订单导入的LLM确定性范式

> **摘要**：把 LLM 接进一个已有 22 年沉淀的事务型 CRM，真正的难点不是让模型看懂表格，而是让一个概率组件产出的判决，安全地穿过解析、实体解析、引用完整性、幂等写入、后处理这五道事务边界

2026-10-22

每天十分钟的自动化学习系统：RSS + LLM 摘要 + 定时推送

## 系统结构 ``` 定时任务(cron) → 抓取RSS更新 → 去重(本地记录) → LLM生成摘要+难度标注 → 推送到微信/邮件 ``` ## 核心代码 ``` import json import

2026-10-21

三层骨架和LLM 治理，生产级AIOps平台的落地账本与踩坑实录

于是我们把 LLM 当成一个生产系统来对待，建了四件套。第一件，LLM 可观测性。

2026-10-16

什么是LLM Gateway？概念、架构与核心能力全解析（附请求链路与代码示例）

很多团队第一次接触 LLM Gateway，是从一个很小的需求开始的：把散落在各个服务里的模型 API Key 收回来。

2026-10-15

Agent Loop + Graph Engineer 工程化实战：构建可观测、可编排的 LLM 智能体应用

## 前言在 LLM 应用开发领域，很多开发者上手 Agent 时，只简单实现 Function Call 函数调用 Demo。

2026-10-15

AI API 聚合路由能否降低 LLM 成本？深入分析回退成本与盈亏平衡点

决策调用即使非常便宜，只要几乎所有请求仍要进入同一个 LLM，或者错误路由导致整条流程重跑，总账单仍可能增加。

2026-10-06

LLM 应用对不上账？大概率是漏记了这三种「失败但计费」的请求

凡是接了大模型 API 的团队，月底对账大概率经历过这种事：内部统计的调用量、token 数，和上游账单对不齐。差个百分之几都算正常的，差的多的能到两成。大多数人第一反应是怀疑自己统计代码写错了。其实更常见的原因是：**有一类请求，业务上算"失败"，计费上却是真实发生的**。漏记它们，账永远对不齐。 ### 第一种：流式半途断掉客户端等不及超时了、网络抖了、用户直接关了页面——流式响应中途断开。业务侧记的是"失败"，但上游已经吐出去的那些 token 是真实消耗的。流式场景下这类请求占比不低，尤其前端交互重的应用。处理方式：不要在收到断开时就停止读取上游，把连接排空（或等到空 chunk 超时），拿到响应尾部携带的 usage 数据再落账。 ### 第二种：5xx 前已吐了一半上游 500、网关 504，错误发生在响应中途。之前已经生成的那部分 token，上游照样计费。这类请求如果不单独标记，统计侧会把它们归零。 ### 第三种：缓存命中的计费歧义大部分平台的 prompt cache 命中部分按折扣计价（常见 1 折到 4 折），但**上游返回的 usage 字段里，有的把缓存命中算进 prompt_tokens，有的单列 cached_tokens**。如果网关自己拿 tokenizer 重新数一遍再乘单价，和账单的差异能差出 5%~10%——因为 tokenizer 和上游的计数本来就有细微差别。对账的铁律只有一条：**计量认上游返回的 usage 字段，计价按账单口径拆分**。自己数出来的数只能用于业务分析，不能用于对账。 ### 一个架构建议这三类问题都指向同一个结论：接大模型 API 的项目，值得在业务和上游之间放一层轻量网关，专职做三件事——透传 usage、标记异常请求的计费状态、按账单口径归一化。转发本身不复杂，复杂的是这些「财务视角」的细节，集中在网关里处理，比散在各业务线里各自为政强得多。 > 工具备注：我们自己的推理服务也是这个思路做的计费层。顺带做了一个翻译小工具「随心翻译」，同样按量计费，用多少算多少。

2026-09-22

AI 网关分层指南：LLM、MCP、Agent 与网络层的分工与三类失效点

10827271/b188e09248d3d720a719ab9dc21d7006.png) 图 0 · 2026 AI 网关全景：五大品类、两个层 ## 二、五大品类逐个拆 ### 1、大模型网关（LLM

2026-09-14

中小团队 AI 应用选型：自建 LLM 网关还是使用第三方 API 中转服务

标签：LLM 网关、API 中转、大模型架构、技术选型、AI 开发 # **摘要** 当业务需要同时调用多款大模型，团队就会面临架构选型：自己基于开源组件搭建 LLM 网关，还是直接选用第三方 API

2026-09-09

LLM大语言模型算法工程师实战：从Transformer到RLHF的完整技术栈解析

# LLM大语言模型算法工程师实战：从Transformer到RLHF的完整技术栈解析 > 本文不堆砌概念，而是用可运行的代码和数学推导，拆解大语言模型训练全链路中的关键算法节点，涵盖预训练、指令微调、

2026-08-25

AI全栈驱动的UI自愈测试框架实战：融合视觉感知、LLM推理与强化决策

# AI全栈驱动的UI自愈测试框架实战：融合视觉感知、LLM推理与强化决策从像素级感知到自适应修复，构建AI驱动的全栈测试新范式 ## 摘要随着敏捷迭代和UI动态化的激增，传统基于DOM/XPath

2026-08-23

从 Chat 到长程Agent：LLM API 协议的三代进化，为什么我推荐 Responses

这个转变的底层，其实是 LLM API 协议本身的进化：**从"让模型回答问题"，走向"让模型执行一次 Agent Turn"**。

2026-08-21

Rust 项目团队宣布 LLM 政策：不禁止，但你要承认哪些代码不是你写的

Rust 语言项目正式通过了一项 LLM 使用政策，覆盖 rust-lang/rust 单一仓库的代码贡献。

2026-08-07

LLM全链路工程实战：从QLoRA大模型微调到vLLM推理的性能极致榨取

# LLM全链路工程实战：从QLoRA微调到vLLM推理的性能极致榨取 ## 一、引言：微调与推理的“最后一公里”困境在开源大模型（如Llama 3、Qwen2.5）已然具备强大通用能力的今天，企业落地的核心痛点早已从

2026-08-04

知识库Survey论文快读：从符号三元组到 LLM 自动构建

我为什么一次读这 4 篇起因很简单：想了解"知识库"在 LLM 时代的变化趋势，结果发现单读任何一篇都不够。

2026-07-23

AI-IDE网络数据模型：代码有没有当成上下文传给 LLM？

> 核心观点：代码 Agent 工作依赖「推理上下文通道」——本地读到的文件内容会进入发给 LLM 的请求体。这与「旁路存储通道」是两件事。

2026-07-16

Uppsala University团队提出光纤内存架构，LLM权重传输能耗降超70%

**五、面向LLM推理的系统适配** **5.1 权重与激活的存储分工** LLM执行的内存访问模式存在高度不对称性：自回归解码阶段，加速器逐token生成内容，每生成一个token都需要读取完整的模型权重

2026-07-13

LLM驱动视觉语言导航全新范式

本文提出**EvolveNav两阶段自进化具身推理框架**，兼顾精度、可解释性与速度，在四大权威基准登顶SOTA，重新定义LLM视觉语言导航！

2026-07-13

腾讯混元 AI Infra 团队开源 HPC-Ops，高性能 LLM 推理核心算子库

腾讯混元 AI Infra 团队开源生产级高性能 LLM 推理核心算子库 HPC-Ops，该算子库基于生产环境痛点，采用 CUDA 和 CuTe 从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等

2026-01-27

阿里通义提出 SAPO：一种稳定且高性能的 LLM 强化学习方法

阿里通义 Qwen 团队提出了名为 Soft Adaptive Policy Optimization（SAPO）的新型强化学习方法，旨在解决大语言模型强化学习中策略优化的不稳定问题。 https://arxiv.org/abs/2511.20347 据介绍，现有方法如 GRPO（token-level clipping）和 GSPO（sequence-level clipping）采用硬剪切（hard clipping）：当重要性比率超出范围时，梯度直接被截断。尽管能避免灾难性更新，但有两个固有缺点：学习信号丢失：被剪切区间外的所有梯度全部丢弃。对于 GSPO，只要有少数 token 异常，可能导致整个序列的梯度都被抛弃。难以取得较好平衡：剪切范围太窄 → 大量样本没有梯度；太宽 → off‑policy 梯度噪声破坏稳定性。这在 MoE 模型里尤为明显。因此，GRPO 和 GSPO 常常难以兼顾稳定性、样本效率和收敛效果。为解决这些问题，Qwen 团队提出Soft Adaptive Policy Optimization（SAPO），一种稳定且性能更优的大语言模型强化学习方法。SAPO 使用平滑、温度控制的门控函数替代硬剪切，在保持稳定性的同时保留更多有效梯度。其特点包括：连续信任域（无硬剪切不连续性）序列级一致性（类似 GSPO，但不丢弃整段序列） token 级自适应性（弱化异常 token）非对称温度设计（正负 tokens 差异化处理）这些设计让 SAPO 能够达到稳定且有效的学习。 SAPO 在不同规模的 dense 和 MoE 模型上均有提升。为了进行比较，团队在数学、编码、逻辑和多模态任务的混合上训练 Qwen3-VL-30B-A3B 的一个 checkpoint。评估基准包括： AIME25（数学推理） LiveCodeBench v6 （代码生成） ZebraLogic（逻辑推理） MathVision（多模态数学推理）结果：SAPO 在相同算力预算下优于 GSPO / GRPO‑R2。详细介绍查看：https://qwen.ai/blog?id=sapo

2025-12-10

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。