首页 文章 精选 留言 我的

精选列表

搜索[c 20],共10000篇文章
优秀的个人博客,低调大师

《Spring AI 2.0实战》第20招 成本也要进架构

## 01、痛点 我是老李。最近我们团队把问答服务从单模型升级成了能查资料、能调工具、能分步推理的智能体应用。上线跑了一周,看监控面板,延迟和错误率都挺好看,P95 也没破线。但月底账单一出来,模型费用涨了快六倍,财务和研发差点在群里吵起来。更尴尬的是,我们说不清到底哪个环节把成本抬高了:是嵌入阶段?是检索后的长上下文?还是工具调用反复把结果塞回模型? 这类问题不是个例。很多团队对 AI 系统的观测仍然停留在传统服务的思维里,只关注延迟、错误率、吞吐。AI 系统一旦变成多步骤调用,单次用户请求内部可能串起多次模型调用、多次嵌入计算、若干次工具调用和评估步骤。传统监控看不到 Token 消耗、模型费用、嵌入成本和工具成本。就像开了一家餐厅,只看翻台率和投诉率,却不知道每桌客人点了多少和牛。 Spring AI 2.0.1 对 Chat 和 Embedding 的用量统一处理,正好给了我们一个把隐性成本翻到台面上的机会。现在讲这个,不是因为它新,而是因为越来越多团队正在从“能不能调通模型”进入“能不能长期跑得起”。 ## 02、是什么 Spring AI 2.0.1 在响应元数据里提供了更统一的用量获取方式。聊天补全返回的 ChatResponse 中可以通过 Metadata 拿到 Usage,里面包含 prompt tokens、completion tokens 和 total tokens。嵌入调用同样不再只是返回向量,还能拿到本次嵌入消耗的 token 数。不同模型提供商的字段差异被框架吸收,上层代码只需要面向统一的 Usage 结构读取。 这套能力解决的不是“能不能调到模型”,而是“调用之后怎么准确记账”。使用它之后,我们可以在同一出口拿到每次模型调用的输入 token、输出 token、模型名称、耗时,再结合价格表估算费用。注意,一个系统中往往不只有聊天模型,嵌入模型同样在烧钱。过去嵌入成本容易被忽略,因为嵌入调用看起来便宜,但请求量通常很大。一次检索可能只需要几百 token,但一个文档库冷启动时可能要嵌入几百万篇文本,成本会非常可观。 统一的意义还在于,不只是账目好看。它让编码阶段更容易把用量记录做成标准动作。你不必为不同厂商各写一套解析,也不必每接一个新模型就重新找字段。只要在模型调用后取一次 Usage,就能形成统一日志。日志里除了 Token,还要带上传入场景、调用步骤、是否命中缓存、是否发生工具调用等上下文信息,否则后面只能看到一堆数字,却无法定位是哪类业务在推高费用。 ## 03、为什么 为什么非要把成本当成一等指标?因为现在一次智能体请求的成本结构变了。过去很多人脑子里是一个等式:一次请求 = 一次模型 API 调用。按这个等式,算成本很简单,一次输入加一次输出就完了。可今天的请求链路完全不是这样。 一次请求可能先做问题改写,再做检索,检索前要调用嵌入模型,检索后要把若干文档拼进上下文,再调用大模型生成答案。如果系统需要调用外部工具,模型还要多轮判断工具参数、执行工具、把工具结果再次传回模型。最后可能还有评估步骤,用一个模型给结果打分。也就是说,一次用户请求背后可能是多轮模型调用、多次嵌入、多次工具调用和评估模型的叠加。每一段都有 Token 和耗时,工具本身还可能有搜索、数据库或第三方 API 的费用。 如果只看延迟和错误率,这些内部消耗不会显示出来。延迟可能还在可接受范围内,错误率也不高,但成本已经被多轮调用悄悄推高。更麻烦的是,团队里没人能回答“为什么这个功能这么贵”。没有成本拆分,优化就无从入手。你能知道整体慢了,但不知道慢在推理还是检索;你能知道整体贵了,但不知道贵在旗舰模型乱用,还是上下文塞得太满。 所以必须把成本拆开,把每个步骤的用量、耗时、模型价格记录清楚。这不是财务视角,而是架构视角。只有在架构指标中纳入成本,才能判断一个设计是好是坏。 ## 04、架构 要落地用量采集,需要一个轻量的架构。以 Spring AI 作为模型访问层,所有聊天补全和嵌入都通过统一入口走。可以在模型调用前后设置拦截或切面,记录开始时间和结束时间。调用返回后,从响应元数据中取出 Usage,然后和请求场景、步骤类型、模型名称、耗时一起写入事件。 建议的数据结构可以包含:请求 ID、步骤 ID、场景类型、模型名称、输入 token、输出 token、总 token、耗时毫秒、估算费用、时间戳。场景类型要区分普通问答、检索增强、智能体编排。步骤类型可以区分改写、检索、生成、工具调用、评估。这样后续报表可以按场景和步骤聚合,而不是一锅粥。 价格配置需要独立管理。每个模型的输入 token 单价、输出 token 单价不同,嵌入模型的单价也不同。工具调用如果走外部 API,还需要配置工具单次成本。估算费用时,输入 token 和输出 token 分开算,嵌入成本按 token 计,工具成本按次计。不要混在一起。 架构上,采集动作要尽量无侵入。可以让业务代码只关心调用模型,用量采集放到框架层完成。即使某次调用异常,也要记录已产生的 Token。很多服务在模型返回前就超时,但提供方仍可能已经计费。这种损耗如果不记录,账目永远不平。 最后要有一个聚合视图。把用量日志打到监控系统或数据仓库,做出每请求成本、每场景成本、每模型成本、每日成本趋势,以及成本占比最高的步骤排行。这样才能从架构层面回答:系统到底贵在哪。 ## 05、实战 假设我们有一个应用需要同时支持普通问答、检索增强和智能体模式。用 Spring AI 2.0.1 写用量采集并不复杂。聊天调用返回后可以这样取: ChatResponse response = chatClient.prompt(...).call().chatResponse(); Usage usage = response.getMetadata().getUsage(); 嵌入调用类似: EmbeddingResponse er = embeddingClient.embedForResponse(texts); Usage usage = er.getMetadata().getUsage(); 然后写一个 CostCalculator,将 usage.getPromptTokens() 和 usage.getCompletionTokens() 分别乘以价格,得到费用。 运行一周后,可以比较三种模式: - 普通问答:单次聊天调用,平均输入 1.1k token,输出 280 token,耗时约 0.8 秒,估算成本约 0.003 元/次。 - 检索增强:先嵌入约 400 token,检索后把 Top 5 文档片段拼进上下文,再聊天调用,平均输入 6.5k token,输出 350 token,耗时约 1.6 秒,估算成本约 0.014 元/次。 - 智能体模式:一次请求可能先规划、再调工具、再总结,还要评估。平均 6 次模型调用,总输入 22k token,总输出 2.4k token,嵌入 1.2k token,工具调用 4 次,耗时约 7 秒,估算成本约 0.09 元/次。 三种模式的成本差异不是百分之几十,而是数量级。如果团队把智能体模式当成普通问答去监控,只看到延迟从 0.8 秒变 7 秒,却看不到单次成本涨了几十倍。再加上高频用户,一天几十万次请求,账单会非常恐怖。用统一用量日志把三种模式分开统计后,我们才发现,智能体模式里最贵的不是最终生成,而是多轮工具调用中反复把巨型上下文回传模型。 ## 06、洞见 效果最好的模型不一定适合所有步骤。这件事很多团队理性上认同,做起来却容易偷懒:既然已经在用旗舰模型,干脆所有步骤都用它。结果小任务也付大价格。 不同步骤对模型能力的要求差距很大。意图识别、格式转换、简单分类、工具参数提取,这些任务用小模型通常就能做好。深度推理、复杂多跳问答、长文档综合分析,才需要能力更强的模型。全链路都用最强的模型,一方面浪费 Token 成本,另一方面也拖慢响应。强模型往往更慢、单位 token 更贵,有时上下文窗口更大,但普通任务根本用不上这些优势。 路由模式是生产环境里很有价值的一种优化方式。先让一个轻量模型判断请求难度,简单问题直接用小模型处理,复杂问题再升级到强模型。也可以按步骤拆分:检索前的查询改写用小模型,检索后的综合生成用强模型,工具结果的格式整理用小模型。这样既保住质量,又降低成本。判断标准可以是问题长度、工具是否需要、检索结果置信度、历史对话复杂度等。关键是要有成本意识,把“最强模型”从默认选项变成按需选项。 ## 07、行动 要把这件事真正落地,建议建立 Quality / Latency / Cost 三维指标,而不是只加一个成本字段。 质量维度关注端到端成功率、答案准确率、检索命中率、工具调用成功率、评估分数。延迟维度关注首 token 时间、端到端延迟、各步骤耗时、P95/P99。成本维度关注每次请求的 Token 总量、每请求估算成本、每类步骤成本、每日模型费用、嵌入成本和工具成本。三个维度必须放在同一张表里看,不能割裂。比如某个优化让延迟下降 30%,但成本上升 80%,这个方案是否值得,需要结合质量来判断。 落地顺序可以分五步。第一步,基于 Spring AI 2.0.1 的 Usage 做统一采集,确保所有模型调用都经过埋点。第二步,维护模型价格表,至少包含输入单价、输出单价、嵌入单价、工具单次成本。第三步,把日志接入监控系统,设置成本预算和告警,避免月底才发现超支。第四步,按场景和步骤打标,输出普通问答、检索增强、智能体模式的分组报表。第五步,每周复盘成本分布,找出高成本步骤,做路由优化、上下文压缩、缓存或提示词精简。质量、延迟、成本一起看,才能避免按下葫芦浮起瓢。 ## 08、小结 AI 系统越复杂,越不能只靠延迟和错误率判断健康度。Token、模型费用、嵌入成本、工具调用成本都是架构指标的一部分。Spring AI 2.0.1 对 Chat 和 Embedding 用量的统一处理,降低了记录这些指标的门槛。团队需要从“一次 API 调用多少钱”升级到“一次请求全链路多少钱”,把成本按步骤拆开,把不同难度的任务路由给不同模型。最终不是简单追求效果最好,而是让质量、延迟、成本达成可持续的平衡。 ## 09、链接与概念说明 概念说明: - Spring AI:面向 Java 生态的 AI 应用框架,提供聊天补全、嵌入、向量存储等统一抽象。2.0.1 版本在响应元数据中增强了用量处理。 - Chat Usage:聊天补全返回的 Token 用量,通常包含输入、输出和总量。 - Embedding Usage:嵌入调用返回的 Token 用量,用于统计嵌入成本。 - Token:模型处理文本的基本计量单位,是成本计算的基础。 - 智能体模式:由多次模型调用、工具调用、检索和评估协作完成任务的架构模式。本文用“智能体”代替相关英文术语,避免混淆。 - 三维指标:Quality / Latency / Cost,用于综合评估 AI 应用质量、性能和成本。 参考:Spring AI 官方文档,GitHub spring-projects/spring-ai。

优秀的个人博客,低调大师

Spring 源码精要20问 —— 基于第一性原理

## **第一层:容器根基(IoC 容器的本质)** ### **Q1. BeanFactory 与 ApplicationContext 到底是什么关系?** **推理思路:** 从 `BeanFactory` 接口出发,逐层查看其子接口 `ListableBeanFactory`、`HierarchicalBeanFactory`、`AutowireCapableBeanFactory`,再追踪 `ApplicationContext` 的继承树,画出完整的接口图谱。核心追问:ApplicationContext 比 BeanFactory 多了什么能力?这些能力从何而来? ### **第一性原理:为什么要拆三个 BeanFactory 子接口?** `ListableBeanFactory`、`HierarchicalBeanFactory`、`AutowireCapableBeanFactory` 三者**彼此平行**,并不互相继承,对应容器三种**正交能力**: |子接口|解决的本质问题|对应"动词"| | --- | --- | --- | |BeanFactory(基类)|按名/类型取一个 bean|get| |ListableBeanFactory|遍历枚举所有 bean|list| |HierarchicalBeanFactory|容器父子层叠(子覆盖父)|delegate| |AutowireCapableBeanFactory|自动注入依赖(容器推,不靠用户拉)|wire| **第一性原理**:**单一职责 + 接口隔离原则(ISP)**。Spring 没有把这些能力塞进一个大接口,而是按"语义动词"拆分,让 `DefaultListableBeanFactory` 同时实现它们,从而具备完整能力——这是 Java SPI 设计的范本。 #### **第一性原理**:ApplicationContext的核心能力 ApplicationContext 真正的杀手锏,**不是那些继承的接口**,而是 **`AbstractApplicationContext.refresh()`(约 581 行起)的"自动注册"约定**: |步骤(来自 refresh())|BeanFactory 的行为|ApplicationContext 的行为| | --- | --- | --- | |registerBeanPostProcessors|不做|自动扫并注册所有 BPP| |registerApplicationListeners|不做|自动扫并注册所有 ApplicationListener| |finishBeanFactoryInitialization|需要用户手动 getBean 才会创建|预实例化所有非 lazy 单例(急加载)| |initMessageSource|不做|自动具备 i18n| |initApplicationEventMulticaster|不做|自动具备事件总线| **第一性原理解读**: - `BeanFactory` 是 **"惰性工厂(lazy factory)"** —— 你不问我就不做; - `ApplicationContext` 是 **"主动容器(eager container)"** —— 启动时把基础设施(事件、国际化、后置处理器)一切就绪,**约定优于配置**。 这也是为什么 Spring 推荐业务代码 99% 场景用 `ApplicationContext`,只有在极简场景(如纯配置加载、嵌入第三方框架)才退回到 `BeanFactory`。 #### **④ 还应该提及的两个易混淆点** 1. **`ConfigurableApplicationContext**`(`spring-context/.../ConfigurableApplicationContext.java`):可配置/可刷新的 ApplicationContext,是启动期操作的接口(`refresh()`、`close()`)。这就是为什么 `ClassPathXmlApplicationContext`、`AnnotationConfigApplicationContext` 都要实现它,否则没法 `refresh`。 1. **`BeanDefinitionRegistry**`:ApplicationContext 内部那个 `DefaultListableBeanFactory` 还实现了 `BeanDefinitionRegistry`,承担 **"注册 BeanDefinition"** 的职责,但 ApplicationContext 自身**不再继承它**,因为注册动作只在启动期进行,不属于运行时 client API。 #### **📌 本题一句话第一性原理总**结 > **Spring 把"管理对象"这件事按"动词"拆成 4 个正交接口(取/列/层叠/注入),又按"运行时/启动期"拆成 2 个层次(`BeanFactory` 运行时按需取,`ApplicationContext` 启动期主动装配一切)。前者是基础设施,后者是企业级容器入口。**

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码