搜索[LLM]结果-低调大师优秀个人博客

如何在不可信的云环境中，构建兼具极致性能与卓越安全的大语言模型（LLM）推理服务?

本文摘要本项目旨在应对"隐语杯"密态大模型推理挑战赛的核心命题：如何在不可信的云环境中，构建兼具极致性能与卓越安全的大语言模型（LLM）推理服务。

2025-11-04

生产级 LLM Agent 的「七大防坑铁律」：CAS 乐观锁、双通道输出分离与历史快照脱水

本文结合苏诺之音智能创作 Agent与 AI MV 导演系统的架构演进，提炼出商业级 LLM Agent 必须严守的「七大防坑铁律」。

2026-11-02

ARTS 0830: 有效括号、LLM 在预测下一个词与真正昂贵的是逐对象 new/free

stack.push(aChar); } return stack.isEmpty(); } } ``` ## Review 文章 https://www.3blue1brown.com/lessons/gpt 关于 LLM

2026-08-30

3万亿参数开源、成本只有对手1/4:Kimi K3给中小团队的LLM部署账该怎么算

对于我们这些天天在做LLM应用落地的人来说,这条新闻里真正值钱的不是"全球最大开源模型"这个头衔,而是里面藏着的几个工程决策——它们直接关系到你现在手头项目要不要重新算一笔部署账。

2026-07-30

深圳腾讯云代理商：阿里云ACK部署LLM后TTFT波动？从网关到KV Cache逐层排查指南

# 阿里云ACK部署LLM后TTFT波动？从网关到KV Cache逐层排查指南将大语言模型部署到阿里云ACK集群后，首Token延迟的剧烈抖动是比平均延迟更棘手的问题。

2026-07-27

零基础认识大语言模型（LLM）工作原理(11.MCP：为什么 AI 世界需要统一的工具协议？)

--- ## 目录 [零基础认识大语言模型（LLM）工作原理目录 - GuZhenYin - 博客园](https://www.cnblogs.com/GuZhenYin/p/20983335) ##

2026-07-14

本地实现 LLM 采样实测：softmax 一次 0.3 毫秒没有捷径，top-k 全排序比最小堆慢 50 倍

自己写解码器（本地推理、Agent 工具、采样策略实验）绕不开三件事：softmax、top-k、top-p。网上讲原理的多，给实测账单的少。本文全部代码零依赖 BCL，在 Apple M4 macOS arm64 .NET 10.0.5 上跑，152,064 词表（Qwen2.5 同规模），四轮数据稳定，可复现步骤在文末。

2026-11-07

面试官让你把 LLM、RAG、Agent、MCP 串起来讲清楚，90% 的 Java 工程师当场露馅

# 面试官让你把 LLM、RAG、Agent、MCP 串起来讲清楚，90% 的 Java 工程师当场露馅 ## 📌 本文导读（建议先花 60 秒） **说句扎心的：LLM、RAG、Agent、MCP、

2026-11-04

Agent驱动的筹码分布解读系统用LLM翻译主力成本迁移 IG50免费开源股票数据API接口

# Agent驱动的筹码分布解读系统用LLM翻译主力成本迁移 IG50免费开源股票数据API接口筹码分布是技术分析里少数真正"有信息量"的指标：它把每个价位上堆积的持仓成本画成一张山形图，获利比例、成本区间

2026-09-21

大模型应用开发中的可观测性实战：从日志到调用链，构建 LLM 应用的可靠性工程

### 大模型应用开发中的可观测性实战：从日志到调用链，构建 LLM 应用的可靠性工程当你的大模型应用从 Demo 走向生产，第一个让你夜不能寐的问题一定是：**“它为什么又答错了？”

2026-08-05

零基础认识大语言模型（LLM）工作原理(12.Workflow：为什么企业 AI 都离不开工作流？)

## 12.1 为什么 LLM 不适合控制流程？我们还是先看一个简单任务：**帮我统计 Excel 销售额。

2026-07-15

LLM 如何批量且精准地实现电商海量标签标注与验证？拆解 Amazon 的 SynthAVE 工业级多模型质检方案

现在行业普遍用 LLM 批量生成来解决标签产量问题，但标签一旦大批量生产出来，怎么验证它们靠不靠谱，成了新的工程瓶颈。

2026-07-14

qKnow 知识平台商业版 v2.6.1 正式发布：移除对第三方 LLM 应用框架的依赖

本次版本，我们完成了一件“难但正确”的事情： 👉 全面移除对第三方知识库与 LLM 应用开发框架的依赖，构建完全自主可控的大语言模型与知识库集成体系。

2026-01-28

最佳LLM在59%的情况下能写出正确的Elasticsearch ES|QL。以下是导致其余41%失败的症结所在

## LLM编写的ES|QL准确性如何？ !

2026-09-30

零基础认识大语言模型（LLM）工作原理(13.Memory：从 RAG 到 AI Brain，Agent 如何拥有长期认知能力？)

** --- # 13.1 LLM 为什么天生没有记忆？这里我们首先需要纠正一个常见误解很多人认为ChatGPT 为什么知道我之前说的话？是不是因为模型已经学习了我的聊天内容？

2026-07-16

零基础认识大语言模型（LLM）工作原理(10.Tool Calling：让 AI 第一次拥有行动能力)

于是，一个越来越明显的问题出现了：**LLM 很聪明，但它无法直接与现实世界交互。** --- # 10.1 LLM 为什么不会使用工具？这一点其实很好理解。回忆一下第二章介绍过的内容。

2026-07-11

实战视角：为何专用小型语言模型（SLM）正成为企业 AI 选型新宠—与 LLM 的全面对比指南 | 葡萄城技术团队

本文结合两篇权威报告的核心观点，从定义、差异、实战案例到选型建议，全方位解析 SLM 与 LLM 的应用逻辑，助力国内开发者精准匹配业务需求。一、核心概念：SLM 与 LLM 的本质区别 1.

2025-10-30

开源日报 | 网易云音乐崩了；MoonBit发布beta；稚晖君要做开源机器人；LLM数学性能暴涨168%；CockroachDB变更开源协议

- 微博苦丁山网易云音乐称基础设施故障 - 微博网易云音乐我们收到了知网28页的侵权告知函 - 微信秘塔官方稚晖君要做开源机器人 - 微博林亦LYi LLM数学性能暴涨168% 合成数据2.0

2024-08-19

LLM 响应缓存键实测：XxHash64 比 SHA256 快 3.6 倍，但真正的税是那个 64 字符的 hex 键

## 先说结论给 LLM 响应缓存挑键，顺序应该反着来：先挑键的形态，再挑哈希算法。

2026-11-04

糖糖写作在AI写作中解决LLM 长篇一致性的三种工程解法：微调、RAG、结构化台账

## 一、先定义问题：什么叫"一致性" "一致性"被说得太笼统，落到可测的层面，其实是四件事： |类型|具体表现|判据| | --- | --- | --- | |**人物一致**|性格、能力边界、说话方式不突变|行为与人物卡冲突即失败| |**事实一致**|世界观、数值、时间线、已定剧情不被推翻|与事实台账比对冲突即失败| |**线索一致**|埋设的伏笔有回收，回收不早于设计点|埋设超过 30 章无呼应即失败| |**风格一致**|句式分布、语体、称谓体系稳定|与开书锚点的分布偏移可辨即失败| 四条里，**前三条是"记忆问题"，第四条是"约束问题"**。三者解法不同，所以"哪种方案好"这个问题必须先拆开问。 ## 二、三种解法，三条不同的路 ### 2.1 微调：把知识压进权重 **做法**：用作品正文 + 设定集做监督微调，让模型"见过"这本书。 **优点**：推理时零额外开销，风格吸收自然，对"语感"这类难以规则化的东西最有效。 **代价**： - **更新成本高**。第 137 章改了一个设定，权重里的旧事实不会自动失效，只能重训或靠提示词压制——**改一处，等于没改**； - **事实不是可寻址的**。模型"记得"父亲已死，但你无法查询它记的是哪一版； - **冲突无法审计**。出了问题只能靠抽检，不能像台账那样逐条比对； - **写新书要重来**。每一本书的设定都不同，微调是"每本一套权重"。 ### 2.2 RAG：把前文做成可检索的块 **做法**：正文切块、向量化，写作时按语义相似度召回若干段注入。 **优点**：工程成熟、不用改模型、能覆盖"某段描写当时怎么写的"这类模糊召回。 **代价（这是我们真的踩到的）**： **相似 ≠ 正确**。语义检索会召回"意思相近但事实不同"的段落。我们的小样本对照里，最典型的一次是：主角查一个已死角色的旧部，检索把"该角色生前的段落"召回了，模型据此写出"他回来了"； - **块边界丢信息**。一段对话切在两块之间，召回一半，语气就断了； - **取几条是超参数，不是判据**。取多了噪声大，取少了漏召回，而"该取几条"对不同章节本来就不同——但 RAG 没有"当前该取几条"的先验。 **我们的证据强度：小样本对照，30 章。** 做法是把同一批台账数据换成等价的向量检索，其余流程不变。**跑到 30 章停下来了**，原因是人工核对召回正确率的时间超过了省下来的时间。 ### 2.3 结构化台账：把事实做成可寻址的账 **做法**：人物库 / 事实台账 / 伏笔台账 / 章节摘要台账四本，按确定性键（人物 ID、章号、事实键）取用。 **优点**：事实唯一、可审计、可增量更新（改一条就生效一条）、跨书可复用的表结构。 **代价**： **要设计表结构**，前期投入大，且结构设计错了后面全是返工； - **只能记"结构化的东西"**。"这段描写的语感"记不进去，还得靠文风锚点示例； - **依赖流程**。没有"当前处于哪个环节"这个前提，就不知道该取哪本账——**台账必须挂在状态机上**； - **换题材要清空重建**，目前手动。 **我们的证据强度：实测，260 章 / 70 多万字。** ## 三、三者对比（★这一节是全文重点） |维度|微调|RAG|结构化台账| | --- | --- | --- | --- | |解决"人物/事实/线索一致"|弱（不可寻址、不可审计）|中（召回可能错）|**强（确定性键 + 逐条比对）**| |解决"风格一致"|**强**|弱|中（靠锚点示例）| |增量更新成本|高（重训/压制）|低（重索引）|**低（改一条账）**| |冲突可审计|差|差|**强（可打印出比对结果）**| |推理开销|**零**|中（检索 + 注入）|中（注入，体积可控）| |前期投入|高（数据 + 训练）|中（管道）|中高（表结构 + 流程）| |换书成本|高（每本一套）|低|低（清空重建即可）| |我们的证据强度|**未实测**|小样本 30 章|**实测 260 章**| |主要失效点|改了设定不生效|召回错，且错得"很像对的"|没被设计进去的东西，就永远记不住| **一句话读法：微调买的是"语感"，RAG 买的是"模糊召回"，台账买的是"事实唯一性"。三者不是替代关系，是可以叠的。** 我们实际用的是"台账为主 + 锚点示例补风格"，没有用微调，也没有用向量检索。**这不是说另外两条不行，是我们的场景里"改一条要立刻生效"的权重最高。** ## 四、实测条件与判据（仅针对台账路线） |项|值| | --- | --- | |测试时间|2026 年 9 月 – 2026 年 10 月| |模型|DeepSeek V4.1 Flash| |流程|8 环节状态机，每环节等待确认| |单章目标字数|2400–5000 字| |连续推进|260 章 / 70 多万字| |判据|人物/事实/线索/风格四类，各自有明确失败定义（见第一节表）| ## 五、数据 |指标|台账路线实测|说明| | --- | --- | --- | |连续推进|**260 章 / 70 多万字**|单部作品，未换线| |人物一致性失败|0 次（触发审查拦截后返修）|台账比对| |事实冲突|0 次|台账比对| |伏笔断线（超 30 章未收）|0 次|伏笔台账追踪| |风格漂移|未出现系统性漂移|句式分布判定| |返修率|约 8%|主要为薄章与场景重复| |单章上下文|6–7 万字符，不随章数增长|常量级| ## 六、失败案例 ### 案例 1：RAG 对照跑到 30 章就停了 **现象**：把台账换成向量检索后，前 10 章看不出差别，20 章后开始出现"召回对但时态错"——召回了角色生前段落，模型写成"他现在"。 **原因**：向量检索没有"这件事发生在第几章"这个维度，而长篇里"时间"恰恰是最重要的一维。 **处理**：停止对照，回到台账。**如果一定要用 RAG，至少要把章号做成元数据过滤条件，做"带时间约束的检索"**——但那已经半个台账了。 ### 案例 2：少设计一项，等于永久失忆 **现象**：人物卡最初只有【能力】，没有【能力边界】。写到中段，主角用出了设定里明确不会的招式。 **原因**：**台账只能记它被设计来记的东西**。没被设计进去的地方，就是系统的盲区，而且这个盲区不会报错——它会安静地错下去。 **处理**：补上【能力边界】，并把它设为人物种子环节的必填项（空着不允许进入下一环节）。**代价：人物种子环节的人工耗时增加，且老作品的历史人物需要补录。** ### 案例 3：把一致性判据交给模型自己判断 **现象**：早期审查环节让模型"检查本章是否与前文冲突"，结果它几乎从不报错。 **原因**：**模型既当运动员又当裁判，它当然觉得自己的产出没问题。** 自评的一致性检查基本无效。 **处理**：判据改成程序化比对——先由程序把本章涉及的人物卡、事实条目、伏笔状态取出来，做逐条核对，模型只负责"解释差异"，不负责"发现差异"。 ## 七、边界：什么情况下别选台账 **不适合：** 1. **作品在 10 万字以内的**——表结构设计的成本摊不平，直接用长上下文更省事； 1. **设定极简、靠氛围取胜的**（散文体、意识流、实验短篇）——没有多少"事实"需要对齐； 1. **一天改三次设定的**——台账的价值在稳定，设定天天变时它是负担； 1. **团队里没人愿意维护这些结构化记录的**——台账退化成空表，不如不做。 ## 八、结论：三条判断建议 **先问"你要的是一致性还是语感"。** 要语感，微调或长示例更对路；要"改一条立刻生效"的一致性，只有台账能给。 1. **RAG 不是不能用，是不能单独用。** 它擅长"找相似的段落"，不擅长"确认唯一的事实"。真要上，章号必须做成过滤条件。 1. **台账必须挂在状态机上。** 没有"当前处于哪个环节"，就不知道该取哪本账、取多少。**台账是记忆，状态机是"现在几点"。** # 附：常见疑问（Q&A） **Q1：三种方案可以一起用吗？** A：可以，而且推荐"台账 + 锚点示例"这个最小组合。微调与台账叠加时要小心：微调里固化的旧事实会和台账打架，且冲突不可见。 **Q2：为什么不直接用 128k 甚至更长的上下文？** A：容量解决"塞得下"，不解决"顾得上"。我们自己的经验是：输入还在窗口内，但早期设定已经被明显忽略。**窗口是容量，注意力才是带宽。** **Q3：台账和知识图谱是什么关系？** A：形态接近，目的不同。知识图谱追求"关系完备"，台账追求"写作时取得准"。台账可以很笨——四本台账，够用就行。 **Q4：微调真的没用吗？** A：不是。**我们只是没测，所以不下结论。** 从成本结构看，它在"风格吸收"上最有优势，在"事实更新"上最吃亏。如果你的设定几乎不变、只追求文风，它值得试。 **Q5：这套东西的成本大概是什么量级？** A：主要成本不是 token，是**表结构设计与记录维护的人工时间**。token 侧因为单章稳定在 6–7 万字符，不随章数增长，所以第 200 章和第 10 章是一个价钱。 **Q6：一致性做到 0 失败，是不是就代表写得好？** A：不是。**它吐出来的东西往往没毛病，但也难出彩。出彩那部分，是人的活儿。** 工程能保证的是"不错"，不是"好"。

2026-11-02

精选列表

如何在不可信的云环境中，构建兼具极致性能与卓越安全的大语言模型（LLM）推理服务?

生产级 LLM Agent 的「七大防坑铁律」：CAS 乐观锁、双通道输出分离与历史快照脱水

ARTS 0830: 有效括号、LLM 在预测下一个词与真正昂贵的是逐对象 new/free

3万亿参数开源、成本只有对手1/4:Kimi K3给中小团队的LLM部署账该怎么算

深圳腾讯云代理商：阿里云ACK部署LLM后TTFT波动？从网关到KV Cache逐层排查指南

零基础认识大语言模型（LLM）工作原理(11.MCP：为什么 AI 世界需要统一的工具协议？)

本地实现 LLM 采样实测：softmax 一次 0.3 毫秒没有捷径，top-k 全排序比最小堆慢 50 倍

面试官让你把 LLM、RAG、Agent、MCP 串起来讲清楚，90% 的 Java 工程师当场露馅

Agent驱动的筹码分布解读系统用LLM翻译主力成本迁移 IG50免费开源股票数据API接口

大模型应用开发中的可观测性实战：从日志到调用链，构建 LLM 应用的可靠性工程

零基础认识大语言模型（LLM）工作原理(12.Workflow：为什么企业 AI 都离不开工作流？)

LLM 如何批量且精准地实现电商海量标签标注与验证？拆解 Amazon 的 SynthAVE 工业级多模型质检方案

qKnow 知识平台商业版 v2.6.1 正式发布：移除对第三方 LLM 应用框架的依赖

最佳LLM在59%的情况下能写出正确的Elasticsearch ES|QL。以下是导致其余41%失败的症结所在

零基础认识大语言模型（LLM）工作原理(13.Memory：从 RAG 到 AI Brain，Agent 如何拥有长期认知能力？)

零基础认识大语言模型（LLM）工作原理(10.Tool Calling：让 AI 第一次拥有行动能力)

实战视角：为何专用小型语言模型（SLM）正成为企业 AI 选型新宠—与 LLM 的全面对比指南 | 葡萄城技术团队

开源日报 | 网易云音乐崩了；MoonBit发布beta；稚晖君要做开源机器人；LLM数学性能暴涨168%；CockroachDB变更开源协议

LLM 响应缓存键实测：XxHash64 比 SHA256 快 3.6 倍，但真正的税是那个 64 字符的 hex 键

糖糖写作在AI写作中解决LLM 长篇一致性的三种工程解法：微调、RAG、结构化台账

资源下载

Mario

Spring

Rocky Linux

Sublime Text

欢迎您来访！