首页 文章 精选 留言 我的

精选列表

搜索[c 14],共10000篇文章
优秀的个人博客,低调大师

《WorkBuddy Skills 实战》第14招 一本书变成Skill

你有没有遇到过这种情况:手册里明明写着答案,但每次让模型回答跨章节问题时,它都要把整本书重新扫一遍。我是老李,一个在后台系统里折腾多年的工程师。团队最近在整理一本内部高并发运维手册,800 多页、几十万字。大家想让模型回答“线程池参数、数据库连接池参数、压测结论之间如何配套”这类问题时,发现每次都要加载大量无关章节,不仅烧 token,答案还经常把第三章和第九章的版本搞混。为什么现在要讲?因为长文档越来越多,上下文窗口再大也经不起整本乱塞。把查找成本前移,做成可查询的知识包,是当下非常划算的一件事。 ## 01、痛点 长文档和普通 FAQ 不一样。普通 FAQ 的问题短、答案短,直接检索就行。技术书、企业规范、内部手册的特点是:信息密度高、章节之间强依赖、版本关系复杂。比如《高并发系统运维手册》第六章讲线程池,第十二章讲连接池,附录 B 是压测报告,附录 D 是扩容公式。一个看似简单的问题“线程池最大线程数怎么配”,可能同时涉及这三处。 传统做法是把整本书或大段章节塞给模型,让它自己去翻。结果有几个明显问题: - 上下文占用高:几十万字全加载,可能占掉几十万 token。 - 定位慢:模型要在长上下文中反复跳转,容易漏掉附录里的关键约束。 - 容易串版本:如果手册修订过,旧章节和新章节对同一参数建议不一致,模型没有明确的版本边界,很容易张冠李戴。 - 费用高:每次问答都为大量无关内容付费。 - 安全风险:受控手册如果被全文复制到外部系统,版权和敏感信息都容易失控。 这些问题的共同根源,不是模型不够强,而是我们把“发现正确内容”这件事留到了每次提问时。 ## 02、是什么 我要介绍的方法,是把长文档转成一种可按需加载和查询的知识包。它和常见的全文摘要不同,也不是简单地把 PDF 切成小段再向量检索。知识包更像一个经过预处理的目录系统,每个目录节点后面跟着一个最小知识单元。知识单元里只保留回答某类问题必需的内容、前置条件、来源路径和校验规则。原始长文仍然留在受控仓库里,知识包不上传全文。 可以把知识包理解成一套“问题路由 + 最小上下文”结构。构建时,先扫描目录、章节标题、图表清单、代码块、参数表和版本修订记录,把它们抽象成索引。再按任务粒度拆分知识单元。比如“线程池最大线程数”是一个知识单元,“连接池等待时间”是另一个,“两者联动校验”是第三个。实际提问时,先走路由层,判断需要挂载哪几个知识单元,再加载这些单元,而不是加载整本书。 它的核心目标只有一个:把发现成本从在线阶段前移到离线阶段。 ## 03、为什么 上下文窗口不是无限大,也不应该成为垃圾桶。很多模型在长上下文中存在中间位置注意力下降的问题,无关内容越多,正确答案越容易被稀释。每次提问都重新翻目录和加载整本书,等于把所有查找负担都丢给在线推理。更糟的是,这种负担还按 token 计费。 结构化知识包能减少三样东西:加载量、串版本概率、重复劳动。以 800 页手册为例,原文可能有 40 万字以上,随便全量加载就是几十万 token;抽象成知识单元后,大多数问题只需要挂载三五个单元,每个单元几百到一两千字,整体加载量可以降低一两个数量级。 更重要的是,知识包把章节之间的依赖关系提前梳理好。比如“超时时间不能大于熔断时间”这种跨章节约束,如果只靠检索,可能同时召回第三章和第九章的冲突内容,模型还得自己判断谁优先级更高。而知识包可以在构建期就标注冲突和生效条件。 ## 04、架构 我把它分成五层。 - 原材料层:存放有权使用的原始文档、版本号、哈希、访问权限。可以放内部 Git 或对象存储,不允许直接对外。 - 解析层:用目录解析、章节切分、表格识别、代码块识别等步骤,把长文拆成带路径的结构化片段。比如“06-2 线程池核心参数”是一个片段。 - 语义层:对每个片段生成摘要、关键词、适用问题列表、前置依赖、冲突说明。例如该片段依赖“12-4 连接池等待时间”,并提示“与 09-3 网关超时建议存在历史冲突”。 - 知识单元层:把语义层产出打包成可加载的单元。每个单元包含:标题、问题特征、内容要点、原文指针、版本号、校验规则、禁止事项。 - 执行层:接收问题后先做路由匹配,再按依赖关系加载知识单元,最后生成回答并附来源。执行层里还有安全过滤,确保输出不夹带原文未授权片段。 关键设计是“指针 + 摘要 + 校验规则”代替“全文复制”。知识包里不存整章原文,只存最小要点和原文路径。这样即使知识包被误发出去,也不会直接泄露全书。 ## 05、实战 我拿一本团队有权内部使用的《高并发系统运维手册》做了实验。这本手册约 820 页,43 万字,有 12 个正文章节和 5 个附录。构建过程如下: 1. 先只用目录生成索引:把每个二级标题、三级标题、表格标题、代码块标题抽出来,形成 YAML 索引文件。 2. 对每个章节生成 3 到 5 条问题路由。比如“线程池最大线程数怎么设置”路由到 06-2、12-4、附录 B-3。 3. 给每个知识单元写校验规则。比如“如果连接池 maxActive 大于线程池最大线程数 × 2,则提示可能排队不够”。 4. 人工检查所有跨章节冲突,给冲突条目加优先级。比如“以第九章网关参数的 2025 年修订版为准,灰度发布时先调超时再调熔断”。 5. 本地运行一个最小执行链路,只允许加载知识单元索引,不上传原文。 然后我提了三个跨章节问题: 问题一:“第六章推荐的线程池最大线程数为 CPU 核数 × 2,第十二章建议数据库连接池 maxActive 控制在 50 以内,附录 B 的压测结论是否支持把线程池最大线程数调到 400?” 问题二:“第三章说接口超时时间要小于熔断时间,第九章的网关参数却给了一个相反的建议。灰度发布时,应该先调超时还是先调熔断?” 问题三:“如果第七章的限流阈值从 2000 QPS 上调到 5000 QPS,附录 D 的扩容公式是否仍然成立?是否需要重跑第八章的基准测试?” 这三个问题有一个共同点:答案都不在单独某一章里。传统整本加载时,模型要么漏掉附录 B,要么把第三章和第九章的冲突混在一起。使用知识包后,问题一先命中 06-2、12-4、附录 B-3 三个单元;问题二命中 03-2、09-3,以及一个人工标注的“冲突处理规则”单元;问题三命中 07-3、附录 D-1、08-2。三轮问答平均加载约 6000 token,而全册全量加载大约需要 45 万 token 以上。因为答案带出处,复查也容易。 ## 06、洞见 做这套东西的过程中,我最大的感受是:未来的知识管理不会只有检索。RAG 解决的是“从海量文档里找到一段话”,但它不太擅长表达“这段参数必须和那段参数一起看,且以某个版本为准”。稳定方法论更适合直接变成可调用能力。 比如一本数据库参数校验手册,不只应该被问“最大连接数多少合适”,还应该能被发布流水线调起来执行检查:读取候选配置,逐项校验,输出不合规项和修复建议。这个时候,手册就不再是一堆文本,而是一组带输入输出约束的可执行条目。 文档本身可能带来安全风险。外部下载的技术资料、企业规范、甚至 PDF 注释里,都可能夹带恶意指令。构建知识包时,不能把来源文档当作可信指令来执行。必须把“内容”和“操作”分开:内容可以作为参考文本加载;操作必须来自白名单规则。对内部文档也要做来源校验和版本锁定。 版权是另一条红线。自己有阅读权不等于有复制权和公开分发权。知识包最好只存摘要、指针和规则,不存全文;内部多人使用时,通过权限系统控制访问范围。公开分享时,只分享方法和索引结构,不分享受保护内容。 ## 07、行动 如果你也想动手,建议从低风险对象开始:个人技术笔记、内部接口规范、故障复盘手册。不要一上来就挑战 800 页的第三方书籍。 - 第一周,选一本自己有权使用的资料,只做目录和章节索引。 - 第二周,为每个章节写 3 条问题路由,记录哪些问题实际需要跨章节。 - 第三周,补充冲突规则和前置条件,形成最小知识单元。 - 第四周,加入安全基线:来源校验、指令白名单、输出过滤、访问日志。 - 每次使用后记录命中情况和 token 占用,持续迭代。 内部手册优先尝试,因为你们最清楚哪些章节总被反复查,哪些跨章节答案经常出错。 ## 08、小结 长文档知识化,难点从来不是“内容太多”,而是“发现正确内容的成本太高”。把整本书塞给模型,只是把困难后移。先做结构化,再按需加载,才能真正减少上下文浪费。知识包适合技术书、企业规范、内部手册这类低变化、强依赖、高复用的文档。与此同时,安全和版权必须放在构建流程前部,而不是事后补救。 ## 09、链接与概念说明 - 发现成本:在长上下文中定位并加载正确知识所消耗的 token、时间与注意力。 - 知识包:本文将长文档拆解为可加载、可查询、可组合的最小单元集合。 - RAG:检索增强生成,通过检索片段补充上下文,适合事实类问答。 - 提示注入:文档或外部内容中夹带恶意指令,诱使模型执行额外动作。 - 版本锁与哈希校验:确保知识单元指向的原文版本可追溯、可校验。 - 建议延伸阅读:OWASP 大模型应用安全项目(https://owasp.org/www-project-top-10-for-large-language-model-applications/);RAG 相关综述(https://arxiv.org/abs/2005.11401);腾讯云开发者社区(https://cloud.tencent.com/developer)。

优秀的个人博客,低调大师

武汉大学:AI赋能大气化学领域研究新进展(IF 14)

![](https://developer.qcloudimg.com/http-save/yehe-5378352/364561e1420727a5b1dfa494fa7d8d86.jpg) **研究概要:** 羟基(OH)自由基在平流层化学中扮演着核心角色,它不仅驱动着臭氧的损耗,还主导着其他化学物种的相互转换。然而,全球OH的观测数据极为稀缺,特别是自2009年微波临边探测器(MLS)相关子系统故障后,OH的卫星观测存在严重的空白。为破解数据断层难题,该研究提出了基于化学信息引导的深度学习网络DRCAT,在缺乏直接观测的情况下,通过结合化学先验知识与AI模型,不仅为填补OH全球观测空白提供了一条可行的途径,深化了对平流层大气化学状态的理解,也为评估大气层在极端扰动期间的化学响应提供了新工具。 分析结果表明:DRCAT模型深度融合了图神经网络和Transformer架构,能高效挖掘相关化学物种的卫星观测数据,精准预测平流层OH垂直廓线。该模型仅用2年实测数据,便成功重建了自2004年至今连续、高精度的全球平流层OH数据集,结果显示,其在各项指标上均显著优于传统方法。此外,该AI模型在应对极端自然事件时展现出卓越的泛化能力。研究开发的可扩展架构,也为其他关键短寿命大气物种的历史数据重建和气象灾害评估提供了一个通用AI框架。 ![](https://developer.qcloudimg.com/http-save/yehe-5378352/32b2aeff5dcbc285fc77000f178eddfc.jpg) DRCAT预测的OH垂直廓线与MLS观测对比图 **核心PI** |周晨|武汉大学地球与空间科学技术学院-无线电与现代探测技术研究所| | --- | --- | **简介:** 周晨,武汉大学地球与空间科学技术学院教授,博士生导师。2009年毕业于武汉大学空间物理专业获博士学位,随后留校作博士后研究,2011年聘为讲师,2012年聘为副教授,2014年去往美国加州大学洛杉矶分校访问深造,2018年聘为教授。曾获国际无线电科学联盟青年科学家奖、中国专利奖优胜奖、中国发明协会创业创新一等奖、卫星导航定位科学技术奖一等奖等荣誉。 **研究及招生方向:** 1、地球空间环境研究 2、地基和星载近地空间环境探测技术 3、电波传播和电磁环境应用 **主要科研项目:** 主持科技部重点研发项目课题、自然科学基金面上项目等多项项目。 ***文章信息:*** 上述研究成果发表于国际权威期刊《Science Advances》,武汉大学地球与空间科学技术学院博士生尹文杰为文章第一作者,周晨教授及英国利兹大学Martyn Chipperfield教授为文章通讯作者。该研究由武汉大学联合了英国利兹大学等多所国际顶尖科研机构共同完成,并得到了国家自然科学基金等项目的联合资助。 论文发表: Wenjie Yin, Chen Zhou, Wuhu Feng, Sandip S. Dhomse, Richard J. Pope, Luis Millán, and Martyn P. Chipperfield. A chemistry-informed deep learning network for mitigating the stratospheric OH data gap. Science Advances. 该栏目文章为公益推广,如有内容错误或涉及侵权,请私信联系本公众号 研究概要部分摘自武汉大学地球与空间科学技术学院官网 点击文末“阅读原文”可查看原文 **END** **声明:**欢迎转载、转发。气象学家公众号转载信息旨在传播交流,其内容由作者负责,不代表本号观点。文中部分图片来源于网络,如涉及内容、版权和其他问题,请联系小编处理。

优秀的个人博客,低调大师

腾讯 APIJSON 5.4.0 大数据与 OLAP,14K•阿里飞猪推荐

APIJSON 5.4.0 更新 新增支持分布式大数据与 OLAP 查询引擎 Presto & Trino(原名 PrestoDB 和 PrestoSQL),Demo 有BigData和Presto; 解决 SQL JOIN 当部分 JDBC rsmd.getTableName 返回空值导致最终主表字段插到副表对象; 新增登记另一个更完善的apijson-go项目,感谢@glennliao的贡献#456,点 Star 支持下热心的作者吧~ 生态周边项目的作者:2 腾讯、1 BAT 专家、1 微软、2 字节跳动、1 神州数码工程师&Apache dubbo2js 作者 等; 完整更新日志具体见Release 发布版本。 APIJSON 九阴真经 - 软件开发行业的 ATM 机 接口全万能,前端不求人。要啥就有啥,所求即所得。 需求由它变,后端稳如山。不变应万变,上午就上线。 腾讯 APIJSON 是一种专为 API 而生的 JSON 网络传输协议 以及 基于这套协议实现的 ORM 库。 为各种增删改查提供了完全自动化的万能 API,零代码实时满足千变万化的各种新增和变更需求。 能大幅降低开发和沟通成本,简化开发流程,缩短开发周期。 适合中小型前后端分离的项目,尤其是 初创项目、内部项目、低代码/零代码、小程序、BaaS、Serverless 等。 通过万能的 API,前端可以定制任何数据、任何结构。 大部分 HTTP 请求后端再也不用写接口了,更不用写文档了。 前端再也不用和后端沟通接口或文档问题了。再也不会被文档各种错误坑了。 后端再也不用为了兼容旧接口写新版接口和文档了。再也不会被前端随时随地没完没了地烦了。 为什么选择 APIJSON? 解决十大痛点(APIJSON 可大幅提振开发效率、强力杜绝联调扯皮、巧妙规避文档缺陷、非常节省流量带宽等) 开发提速很大(CRUD 零代码热更新全自动,APIJSONBoot 对比 SSM、SSH 等保守估计可提速 20 倍以上) 腾讯官方开源(使用 GitHub、Gitee、工蜂 等平台的官方账号开源,微信公众号、腾讯云+社区 等官方公告) 社区影响力大(GitHub 1W+ Star 在 400W+ Java 项目中排名前 110,远超 FLAG, BAT 等国内外绝大部分开源项目) 各项荣誉成就 (腾讯内外 5 个奖项、腾讯开源前九、腾讯后端项目 Star 第一、GitHub Java 日周月榜大满贯 等) 多样用户案例(腾讯内有互娱、音乐、微信、云与智慧等,外部包含华为、华能、百度、快手、中兴、传音、圆通等) 适用场景广泛(社交聊天、阅读资讯、影音视频、办公学习 等各种 App、网站、公众号、小程序 等非金融类项目) 周边生态丰富(Android, iOS, Web 等各种 Demo、继承 JSON 的海量生态、零代码 接口测试 和 单元测试 工具等) 文档视频齐全(项目介绍、快速上手、安装部署 等后端、前端、客户端的 图文解说、视频教程、代码注释 等) 功能丰富强大(增删改查、分页排序、分组聚合、各种条件、各种 JOIN、各种子查询、跨库连表 等零代码实现) 使用安全简单(自动增删改查、自动生成文档、自动管理版本、自动控制权限、自动校验参数、自动防SQL注入等) 灵活定制业务(在后端编写 远程函数,可以拿到 session、version、当前 JSON 对象 等,然后自定义处理) 高质可靠代码(代码严谨规范,商业分析软件源伞 Pinpoint 代码扫描报告平均每行代码 Bug 率低至 0.15%) 兼容各种项目(协议不限 HTTP,与其它库无冲突,对各类 Web 框架集成友好且提供 SpringBoot, JFinal 的 Demo) 工程轻量小巧(仅依赖 fastjson,Jar 仅 280KB,Java 文件仅 59 个共 13719 行代码,例如 APIJSONORM 4.3.1) 多年持续迭代(2016 年至今连续维护 6 年,累计 2800+ 次提交、90+ 次发版、50+ 个贡献者,不断更新迭代中...) 用户反馈 腾讯 IEG 数据产品开发组负责人 xinlin:“腾讯的 APIJSON 开源方案,它可以做到零代码生成接口和文档,并且整个生成过程是自动化。当企业有元数据的时候,马上就可以获得接口” 腾讯科技 后台开发高级工程师 雷大锤:“可以抽出时间来看apijson了,这个可以为T10做准备,也是业界很火的东西,可以提升个人影响力!” 腾讯 bodian520:“在调试GET、POST、PUT接口时遇到了一些问题,把个人的摸索经验分享一下,希望作者能梳理下文档,方便我们更好的接入” 华为 minshiwu:“demo工程,默认使用apijson-framework,可以做到无任何配置即可体验apijson的各种能力。” 字节跳动 qiujunlin:“初次见到这个项目,觉得太惊艳了,眼前一亮。给我的感受是,项目大大简化了开发流程,开发效率提升了很多倍。” 百度智慧城市 lpeng:“很兴奋的发现APIJSON很适合我们的一个开发场景,作为我们协议定义的一部分” 中兴 duyijiang:“感谢腾讯大大提供的框架,很好用” APIJSON 生态项目 apijson-router 【新】APIJSON 的路由插件,可控地对公网暴露类 RESTful 简单接口,内部转成 APIJSON 格式请求来执行。 apijson-columnAPIJSON 的字段插件,支持 字段名映射 和 !key 反选字段 hyperf-APIJSON【新】PHP 版 APIJSON,基于 Hyperf(PHP Swoole),支持 APIJSON 多种关联和多个功能符 APIJSON.NETC# 版 APIJSON,支持大部分 APIJSON 功能,支持 MySQL, PostgreSQL, SQL Server, Oracle, SQLite apijson-go【新】Go 版 APIJSON,支持单表查询、列表筛选、关联查询、多个功能符等 apijson-node字节跳动工程师开源的 Node.ts 版 APIJSON,提供 nestjs 和 typeorm 的 Demo 及后台管理 uliweb-apijsonPython 版 APIJSON,支持大部分 APIJSON 功能,支持 MySQL, PostgreSQL, SQL Server, Oracle 等 APIJSONBoot_Hive【新】APIJSON + SpringBoot 连接 Hive, Hadoop 使用的 Demo apijson-practice【新】BAT 技术专家开源的 APIJSON 参数校验注解 Library 及相关 Demo APIJSONDemo【新】字节跳动工程师接入 ClickHouse 的 APIJSON 使用 Demo APIJSONDemo_ClickHouse【新】APIJSON + SpringBoot 连接 ClickHouse 使用的 Demo apijson-db2APIJSON 接入 IBM 数据库 DB2 的 Demo light4j整合 APIJSON 和微服务框架 light-4j 的 Demo,同时接入了 Redis apijson-examples关于 APIJSON 包含 admin, upms, web 的多端 Demo 感谢热心的作者们的贡献,点 ⭐Star 鼓励他们继续完善吧^_^ 贡献者们 主项目 APIJSON 的贡献者们(6 个腾讯工程师、1 个微软工程师、1 个知乎基础研发架构师、1 个字节跳动工程师、1 个网易工程师、1 个 Zoom 工程师、1 个圆通工程师、1 个智联招聘工程师、1 个美国加州大学学生、3 个 SUSTech 学生等): 生态周边项目的作者们(2 个腾讯工程师、1 个 BAT 技术专家、1 个微软工程师、2 个字节跳动工程师、1 个神州数码工程师&Apache dubbo2js 作者等): 感谢大家的贡献。 统计分析 国内腾讯、华为、阿里巴巴、美团、字节跳动、百度、京东、网易、快手等 和 国外 Google, Microsoft, Amazon, Paypal, IBM, Shopee 等 数百名知名大厂员工点了 Star,也有腾讯、华为、字节跳动、Microsoft、Zoom 等不少知名大厂员工提了 PR/Issue,非常感谢大家的支持~ 腾讯 APIJSON - 零代码、全功能、强安全 ORM 库 后端接口和文档零代码,前端(客户端) 定制返回 JSON 的数据和结构! https://gitee.com/Tencent/APIJSON 创作不易、坚持更难,右上角点 ⭐Star 支持/收藏下吧 ^_^

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册