首页 文章 精选 留言 我的

精选列表

搜索[Python版本],共10019篇文章
优秀的个人博客,低调大师

AI大模型Python线下V7.5版本

# AI 大模型:从注意力机制到推理经济学,拆解 LLM 的技术底盘 大模型常被描述为“涌现出智能的参数量怪兽”,但技术视角下,它是一套精心设计的数学结构、训练范式和系统工程的叠加。理解它,不能只停留在“Transformer 很厉害”的层面,而要沿着“架构如何组织计算→训练如何塑造能力→推理如何约束成本”这条主线,看到每一个设计决策背后的物理和经济约束。 这篇文章从架构、训练、推理三个维度,拆解大模型真正在“做什么”。 ## 一、架构:注意力机制的本质与它的替代方案 ### 1.1 自注意力到底在算什么 Transformer 的核心是缩放点积注意力。给定查询矩阵 Q、键矩阵 K、值矩阵 V,注意力计算为: **Attention(Q,K,V) = softmax(QK^T / √d_k) V[**-14](https://zenodo.org/records/20553933/files/Shukla_2026_Comprehensive_Review_of_Large_Language_Models_v1.0.pdf?download=1#5#1) 这个公式做了一件事:**用相似度加权聚合信息**。QK^T 计算每个位置与其他所有位置的相关性分数,softmax 把这些分数变成概率分布,然后加权聚合 V。缩放因子 1/√d_k 防止点积过大导致 softmax 进入饱和区,梯度消失。 多头注意力把这个过程并行运行 h 次,每个头使用不同的投影矩阵,让模型同时关注“不同的关系维度”——有的头捕捉语法依赖,有的头捕捉语义相似性,有的头追踪指代关系。最后拼接各头输出再做一次线性变换[-14](https://zenodo.org/records/20553933/files/Shukla_2026_Comprehensive_Review_of_Large_Language_Models_v1.0.pdf?download=1#5#1)。 这里有一个容易被忽视的工程细节:**因果掩码**。自回归模型(GPT、Llama、DeepSeek)在注意力矩阵上应用一个上三角为负无穷的掩码,让位置 i 只能关注位置 ≤ i 的 token。这保证了生成的方向性,也决定了推理时 KV Cache 的因果结构[-14](https://zenodo.org/records/20553933/files/Shukla_2026_Comprehensive_Review_of_Large_Language_Models_v1.0.pdf?download=1#5#1)。 ### 1.2 位置编码的演进:为什么 RoPE 赢了 注意力本身是置换等变的——打乱 token 顺序,注意力输出跟着打乱,但相对关系不变。所以位置信息必须显式注入。 从正弦编码到学习式绝对位置嵌入,再到相对位置编码,最终 **RoPE(旋转位置编码)** 成为现代 LLM 的绝对主流。RoPE 的核心思想是用旋转矩阵对 Q 和 K 进行位置相关的变换,使得注意力分数自然蕴含相对位置信息。它的优势在于:长度外推能力更好(训练 4K 长度可以在推理时处理更长序列),且与高效注意力内核高度兼容[-14](https://zenodo.org/records/20553933/files/Shukla_2026_Comprehensive_Review_of_Large_Language_Models_v1.0.pdf?download=1#5#1)。 ### 1.3 MoE:把“参数容量”和“计算成本”解耦 Dense Transformer 有一个根本矛盾:参数量越大,模型能力越强,但每个 token 的计算成本也线性增长。MoE 打破了这个等式。 MoE 用一组“专家”子网络替换每个 Transformer 层中的密集 FFN,并用一个路由函数决定每个 token 激活哪些专家。典型设置是 Top-k 路由:从 E 个专家中激活 k 个。总计算量只与 k/E 成正比,而总参数量可以达到 E 的规模[-14](https://zenodo.org/records/20553933/files/Shukla_2026_Comprehensive_Review_of_Large_Language_Models_v1.0.pdf?download=1#5#1)。 2025-2026 年的关键进展是 **Token Dropless MoE**。早期 MoE 存在“token 丢弃”问题:当大量 token 被路由到同一专家时,超出容量的 token 会被直接跳过。这导致信息损失,尤其在训练早期路由尚未稳定时。Megatron Core 等框架实现了动态专家分配和队列缓冲,从机制上消除了 dropping[-1](https://blog.csdn.net/DK_Allen/article/details/163637578#1)。 另一个值得关注的方向是 **模块化 MoE**。Allen AI 的 EMO 模型通过文档级路由约束,让专家形成语义上的专业分组——健康类文档的 token 集中路由到“健康专家组”,代码类 token 路由到“代码专家组”。结果是:只保留 12.5% 的专家,性能只下降约 3%;而标准 MoE 在同等压缩下性能急剧坍塌[-17](https://huggingface.co/blog/allenai/emo#1)。这意味着 MoE 从“稀疏激活的工程技巧”走向“可组合的模块化架构”。 ## 二、训练:三阶段范式与后训练的演进 ### 2.1 预训练:下一个 token 预测为什么有效 预训练的目标简单到令人困惑:给定前文,预测下一个 token。模型在数万亿 token 的网页、书籍、代码上执行这个任务,用交叉熵损失反向传播更新数百亿参数。 但这个简单目标的副产品极其丰富:为了准确预测下一个词,模型必须隐式地学习语法、语义、事实知识、甚至一定程度的推理能力。**“预测下一个词”是一个需要理解世界才能做好的任务[**-8](https://cloud.tencent.cn/developer/article/2673702#1#1)。 预训练的计算成本是惊人的:万亿级 token、数千 GPU 集群、数周甚至数月的连续训练[-15](https://cloud.tencent.cn/developer/article/2536981?policyId=1004#1)。这也是为什么预训练是少数机构的游戏,而后训练和微调才是大多数团队能参与的环节。 ### 2.2 SFT:从“会说话”到“听指令” 预训练模型就像一个博览群书但没有教养的天才少年。你问它“冬天自驾北方要准备什么”,它会续写“冬天自驾北方气温很低路面容易结冰城市道路……”——句式通顺,但完全没有回答你的问题[-8](https://cloud.tencent.cn/developer/article/2673702#1#1)。 SFT(监督微调)用高质量的“指令-回答”对训练模型遵循指令。数据量可能只有预训练的千分之一,但效果显著:模型学会按格式输出、理解意图、给出实用建议[-8](https://cloud.tencent.cn/developer/article/2673702#1#1)。 ### 2.3 RLHF 与推理导向训练 SFT 之后,模型能听懂指令了,但还分不清回答的“好坏”。RLHF(基于人类反馈的强化学习)用一个奖励模型来评估回答质量,模型通过强化学习优化策略以最大化奖励[-2](https://cloud.baidu.com/article/3360318)。 DeepSeek-R1 代表了一个重要的方向转变:**推理导向的强化学习**。不是用人类偏好来对齐“礼貌和有用”,而是用可验证的信号(数学答案是否正确、代码是否通过测试)来强化推理能力。过程监督奖励模型(PRM)评估推理链中每一步的正确性,而不仅仅是最终答案[-6](https://link.springer.com/article/10.1007/s11097-025-10094-3#1#1#3)。 Anthropic 的 Constitutional AI 则走了另一条路:用一套书面原则(“宪法”)让模型自我批判和修正,然后用 AI 反馈替代部分人类反馈。这降低了人类标注成本,也让对齐标准更可审计[-6](https://link.springer.com/article/10.1007/s11097-025-10094-3#1#1#3)。 ## 三、推理:效率前沿上的工程博弈 ### 3.1 Prefill 与 Decode:两种截然不同的计算模式 一次 LLM 推理请求分为两个阶段,它们的瓶颈完全不同[-9](https://cloud.google.com/blog/topics/developers-practitioners/five-techniques-to-reach-the-efficient-frontier-of-llm-inference?hl=en&e=48754805#1): **Prefill(计算密集)** :GPU 一次性处理整个输入 prompt,所有 token 并行计算。Tensor Core 利用率极高,瓶颈在算力。 **Decode(内存带宽密集)** :逐 token 自回归生成。每生成一个 token,都要把全部模型权重和不断增长的 KV Cache 从 HBM 加载到计算核心。瓶颈在显存带宽。 这个结构性矛盾解释了一个反直觉现象:**短 prompt 高并发的场景下,GPU 算力严重浪费**——因为大部分时间花在 decode 阶段的数据搬运上,而不是矩阵乘法上。 ### 3.2 投机解码:用小模型给大模型“打草稿” Decode 慢的根源是串行。投机解码的思路是:用一个便宜的小模型(draft)一次猜出 K 个候选 token,大模型(target)用一次前向验证所有候选。猜对的直接收下,猜错的从大模型分布重新采样。 关键细节是:验证不是简单的“对/错”,而是按大模型分布做 **rejection sampling 修正**。这保证了输出分布与大模型逐 token 生成完全一致,不是近似[-3](https://cloud.tencent.com.cn/developer/article/2732810?policyId=20240000&traceId=&frompage=homepage#2)。 典型参数下(接受率 0.7、猜测长度 4、draft 成本 0.1),加速约 2 倍。但投机解码不是万能药:高温采样(创意场景)接受率暴跌;长上下文接受率衰减;draft 模型太贵则得不偿失[-3](https://cloud.tencent.com.cn/developer/article/2732810?policyId=20240000&traceId=&frompage=homepage#2)。 ### 3.3 量化:精度换内存的工程边界 量化把权重从 FP16 降到更低精度,直接减少显存占用和带宽压力。2026 年的格局很清晰[-3](https://cloud.tencent.com.cn/developer/article/2732810?policyId=20240000&traceId=&frompage=homepage#2): **FP8 是安全默认**。Hopper 架构原生支持 FP8 计算,吞吐提升 1.4-1.7 倍,质量损失可忽略(0.3-0.5 个百分点)。绝大多数生产场景应该从 FP8 起步。 **FP4 是 Blackwell 的王牌**。B200/B300 原生支持 FP4,吞吐可达 2-5 倍,但精度损失 1-3%,硬推理场景(数学证明、精确代码生成)退化明显。 **INT4(GPTQ/AWQ)** 适用于任意 GPU 的显存压缩,但需要“先反量化再计算”,实际加速取决于场景。 ### 3.4 KV Cache:长推理的隐形瓶颈 KV Cache 保存所有历史 token 的 Key 和 Value 状态,避免重复计算。但它随序列长度线性增长,成为长推理的硬约束。 ICML 2026 的 BeaconKV 揭示了一个重要现象:在长链推理(Chain-of-Thought)中,模型会周期性地“回头看”——重新关注推理早期制定的计划或问题约束,而不是只关注最近几个 token。现有压缩方法基于“近期查询最能代表未来注意力”的假设,在这个场景下失效[-7](https://icml.cc/virtual/2026/poster/62942)。 BeaconKV 的解法是维护一组“灯塔查询”,代表全局注意力模式的聚类中心,用它们来预判哪些 KV 对会被重新关注,从而在不存储完整历史的情况下保留关键信息。在多个开源推理模型上实现最高 5.8 倍的内存压缩[-7](https://icml.cc/virtual/2026/poster/62942)。 ## 结语 大模型的技术栈可以概括为一句话:**用注意力机制组织计算,用三阶段训练塑造行为,在推理经济学约束下交付服务。** 架构层面,MoE 正在把“更大”和“更贵”解耦,模块化 MoE 甚至让模型变得可组合。训练层面,从预训练到 RLHF 再到推理导向强化学习,后训练的重心正在从“对齐偏好”转向“强化能力”。推理层面,投机解码、量化、KV Cache 优化构成了一套相互制约的工程工具箱——没有万能的最优配置,只有针对特定负载的权衡。 理解这些,不是为了手搓一个 GPT,而是为了在模型选型、成本估算、故障排查时,知道约束在哪里、瓶颈在哪里、优化的边界在哪里。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册
修改密码
忘记密码