搜索[LLM]结果-低调大师优秀个人博客

精选列表

搜索[LLM]，共5555篇文章

kimi-code 深度掌握系列文章-LLM 抽象层:Kosong(十一)

它是 agent-core 和具体 LLM SDK 之间的统一接口层——Agent 引擎通过 Kosong 与 Kimi、OpenAI、Anthropic、Google GenAI 等后端通信，而无需在意底层是谁

2026-08-10

LLM蒸馏与微调·第五章：硬件与物料清单

CHAPTER 05 · HARDWARE & MATERIALS # 硬件与物料清单 *GPU显存对照 · 硬件配置推荐 · 云平台对比 · 成本估算 · 数据标注指南* ## 5.1 GPU显存需求对照表 ### 5.1.1 微调方案 **LoRA 7B** 16GB ｜ RTX 4090 24GB ｜ batch 1~2 ｜ ~800 tokens/s **QLoRA 7B** 6GB ｜ RTX 3060 12GB ｜ batch 1~2 ｜ ~600 tokens/s **QLoRA 14B** 10GB ｜ RTX 4090 24GB ｜ batch 1~2 ｜ ~300 tokens/s **QLoRA 72B** 48GB ｜ 1×A100 80GB ｜ batch 1 ｜ ~100 tokens/s **全量微调 7B** 56GB ｜ 4×A100 80GB ｜ batch 1~2 ｜ ~400 tokens/s **全量微调 14B** 112GB ｜ 8×A100 80GB ｜ batch 1~2 ｜ ~200 tokens/s ### 5.1.2 蒸馏方案 **黑盒蒸馏任意→7B** 16GB ｜ RTX 4090 ｜只需运行学生模型 **白盒蒸馏 7B→0.5B** 16GB ｜ RTX 4090 ｜教师14GB+学生2GB **白盒蒸馏 72B→7B（4bit教师）** 52GB ｜ 2×A100 80GB **渐进式蒸馏 7B→1.5B→0.5B** 18GB→5GB ｜ RTX 4090→RTX 3060 关键洞察：蒸馏的显存瓶颈是**教师模型**。白盒蒸馏72B→7B至少需要2×A100 80GB。如果只有1×RTX 4090，只能做黑盒蒸馏。 ## 5.2 推荐硬件配置消费级方案（预算 10K条 **★模型辅助标注**：0.1~0.5元/条｜质量中高｜成本只有纯人工的20% 标注质量控制四步流程 **一** 写标注规范文档，含10~20条示例，覆盖常见和边缘情况 **二** 小批量试标注100条，准确率 10%则整批返工标注人员培训要点先读规范再开工｜ output必须事实正确｜格式统一｜长度100~500字｜避免复制粘贴质量抽检方法 **双盲一致性** 随机抽20%由2人独立标注，Cohen's Kappa > 0.7为合格 **专家抽检** 领域专家随机抽10%检查事实准确性，错误率 > 5%则整批返工 **格式检查脚本** 自动检查字段完整性、长度范围、违禁词标注成本估算 500条：自行 ~10小时 / 众包 ~500元 / 模型辅助 ~100元 2000条：自行 ~40小时 / 众包 ~2000元 / 模型辅助 ~400元 5000条：自行 ~100小时 / 众包 ~5000元 / 模型辅助 ~1000元 10000条：自行 ~200小时 / 众包 ~10000元 / 模型辅助 ~2000元 ## 5.8 成本估算全链路成本（法律领域7B模型，第四章案例）数据准备：人力 ~3000元（5000条标注）蒸馏：72B生成数据 ~50元 + 7B训练 ~10元微调：~6元｜评估：~6元 + 人力 ~500元 **合计：云GPU ~72元 + 人力 ~3700元** ｜纯算力成本不到100元！不同方案性价比直接微调7B：算力~16元 → 法律78% ｜性价比中 **★黑盒蒸馏+微调：算力~66元 → 法律80%** ｜性价比最高白盒蒸馏+微调：算力~300元 → 法律82% ｜性价比高全量微调7B：算力~800元 → 法律79% ｜性价比低（过拟合风险）本章小结 - 显存不够？QLoRA省60%+，黑盒蒸馏不需要同时加载教师 - 硬件不够？云GPU按小时租用，一次7B微调不到10元 - 数据不够？公开数据集+教师合成，成本远低于人工标注 - 标注太贵？模型辅助+人工审核，成本只有纯人工的20% - 核心结论：**算力成本极低（不到100元），真正贵的是数据标注** 全书完 *预训练建能力，微调适配表达，蒸馏迁移能力。* *三者各司其职，灵活组合，才是落地的正确姿势。* PAPER & INK · AI EDITION · CHAPTER 05 · FIN

2026-07-14

LLM蒸馏与微调·第三章：蒸馏实操

学生和教师输出文本的语义相似度（BLEU/ROUGE/BERTScore） **分布对齐度** 学生和教师Logits分布的KL散度，越小说明学生越像教师 ### 3.5.2 正向KL vs 反向KL：原理与调参 LLM

2026-07-14

LLM蒸馏与微调·第一章：原理与全景

LLM的"改造"手段，本质上只有三种：预训练、微调、蒸馏。它们各自解决不同的问题，处于模型生命周期的不同阶段。

2026-07-14

Agent决策核心：从规则引擎到LLM驱动的规划器

随着大模型技术工程化落地，运维决策范式完成第三次演进：**规则自动化→ 统计模型决策 → LLM认知规划决策**。

2026-07-14

论文研究：OpenAPI 规范作为 LLM 操控应用的语义接口【下】

APIs*, arXiv:2306.06624v2（北京大学） > 配套代码：`RestGPT-main/` > 研究焦点：OpenAPI Specification（OAS，又名 Swagger）在这套“LLM

2026-07-14

论文研究：OpenAPI 规范作为 LLM 操控应用的语义接口【上】

APIs*, arXiv:2306.06624v2（北京大学） > 配套代码：`RestGPT-main/` > 研究焦点：OpenAPI Specification（OAS，又名 Swagger）在这套“LLM

2026-07-14

LLM API选型：从踩坑到避坑的实战指南

LLM API选型：从踩坑到避坑的实战指南最近半年，我几乎每天都在跟各种大模型API打交道。说实话，刚开始那会儿真是一头雾水，市面上API多得让人眼花缭乱，价格、性能、稳定性参差不齐。

2026-07-12

LLM Wiki 一图看懂！RAG知识库升级新范式

[](https://developer.qcloudimg.com/http-save/audit-12617516/083789c1fbf086e4445afb562b6a0e05.png) 🌿LLM

2026-07-11

LLM API调用成本砍半，这3招你试过吗？

LLM API调用成本砍半，这3招你试过吗？

2026-07-10

QEMU 态度松动：允许在非关键领域接受 AI/LLM 贡献

但如今这一立场有所松动，一项拟议的补丁将允许在非关键领域接受 AI/LLM 贡献。

2026-05-29

Rust 社区讨论 LLM 使用政策：明确禁止与允许的边界

文件中标记了几个超出范围的话题：LLM 的长期社会或经济影响、LLM 的环境影响、LLM 输出的版权状态、对使用 LLM 的人的道德评判。

2026-05-15

Andrej Karpathy：2025 年 LLM 领域的六项范式转变

文章系统回顾了 2025 年 LLM 领域的六大关键趋势：首先，RLVR 成为新训练核心，通过可自动验证的奖励信号，模型自发演化出类推理行为；其次，作者提出"召唤幽灵"隐喻，强调 LLM 智能与生物智能在底层逻辑上的根本差异

2026-01-09

人类和大语言模型（LLM）在判断方式上的差别

一篇挺有意思的论文，专门讨论了人类和大语言模型（LLM）在判断方式上的差别。

2025-12-24

使用 eBPF 实现 LLM 推理服务的全栈可观测性

DeepFlow 基于 eBPF 技术，覆盖不同模型、推理引擎与硬件环境，实现 LLM 推理服务的全栈可观测性。

2025-12-10

LLM 应用评估综合指南（多轮对话系统、RAG、AI Agent）

作者系统梳理了从传统 NLP 评估指标（如 BLEU、ROUGE）到现代 LLM 基准测试（如 MMLU）的演进，并重点阐释了"LLM-as-a-judge"这一新兴评估范式。

2025-10-22

Ollama 上线 “Web search” API，为 LLM 集成实时网络搜索能力

Ollama 宣布推出 “Web search”API，让大语言模型能够实时访问互联网信息，提升回答的准确性并减少幻觉。该功能支持 REST API，并已集成到 Ollama 的 Python 与 JavaScript 库中，开发者可以在应用中快速调用。同时，Ollama 还提供 web fetch 接口，用于获取指定网页的完整内容（标题、正文和链接）。开发者可以基于 web search 与 web fetch 构建智能搜索代理，让模型在对话中自动调用外部信息。此外还支持在 MCP（Model Context Protocol）环境下配置该功能，并支持集成到 Cline、Codex 等客户端中。 Ollama 为用户提供了免费试用额度，若需更高吞吐量则需升级到付费方案。官方建议在模型上下文长度较大的情况下使用（如 32k tokens），以便更好地处理检索结果。这意味着 Ollama 的模型将能结合实时网络搜索，提供更准确、最新的回答，为开发者构建 AI 应用带来更强的工具支持。

2025-09-26

🔥 Java 的 LLM 框架，Agents-Flex v1.3.5 发布

Agents-Flex：一个基于 Java 的 LLM 应用开发及编排框架。经过近 1 年的开发和迭代，Agents-Flex 发布了 30+ 个版本，终于迎来了 v1.0.0 正式版本。

2025-09-17

🚀 LLM 流式 API 友好的 HttpClient - Fetcher v1.8.9 发布！

🚀 Fetcher 超轻量级 • 模块化 • TypeScript 优先 • 拦截器驱动 • LLM 流式 API 支持 Fetcher v1.8.9 发布：更强大的请求处理与开发者体验升级 🚀

2025-09-17

🚀 LLM 流式 API 友好的 HttpClient - Fetcher v1.2.3 发布！

🚀 Fetcher 超轻量级 • 模块化 • TypeScript 优先 • 拦截器驱动 • LLM 流式 API 支持 Fetcher v1.2.3 发布：全面支持 Wow 框架 🚀 本次更新带来了多项重磅功能增强和架构优化

2025-09-01

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

精选列表

kimi-code 深度掌握系列文章-LLM 抽象层:Kosong(十一)

LLM蒸馏与微调·第五章：硬件与物料清单

LLM蒸馏与微调·第三章：蒸馏实操

LLM蒸馏与微调·第一章：原理与全景

Agent决策核心：从规则引擎到LLM驱动的规划器

论文研究：OpenAPI 规范作为 LLM 操控应用的语义接口【下】

论文研究：OpenAPI 规范作为 LLM 操控应用的语义接口【上】

LLM API选型：从踩坑到避坑的实战指南

LLM Wiki 一图看懂！RAG知识库升级新范式

LLM API调用成本砍半，这3招你试过吗？

QEMU 态度松动：允许在非关键领域接受 AI/LLM 贡献

Rust 社区讨论 LLM 使用政策：明确禁止与允许的边界

Andrej Karpathy：2025 年 LLM 领域的六项范式转变

人类和大语言模型（LLM）在判断方式上的差别

使用 eBPF 实现 LLM 推理服务的全栈可观测性

LLM 应用评估综合指南（多轮对话系统、RAG、AI Agent）

Ollama 上线 “Web search” API，为 LLM 集成实时网络搜索能力

🔥 Java 的 LLM 框架，Agents-Flex v1.3.5 发布

🚀 LLM 流式 API 友好的 HttpClient - Fetcher v1.8.9 发布！

🚀 LLM 流式 API 友好的 HttpClient - Fetcher v1.2.3 发布！

资源下载

腾讯云软件源

Nacos

Spring

Rocky Linux

欢迎您来访！