首页 文章 精选 留言 我的

精选列表

搜索[AI意图识别],共10000篇文章
优秀的个人博客,低调大师

告别AI接口超时烧钱:大模型API的限流、语义缓存与降级配置实践

```javascript 上个月给客户的 H5 应用接大模型问答,上线一周账单出来吓了一跳:API 费用 3000 多,其中一半是重复问题的重复调用——用户问"怎么退款"和"退款流程是什么"本质是同一个问题,每次都重新调一次大模型。这篇把大模型 API 接入的限流、语义缓存与降级配置记录下来。 ## 一、先算账:哪些调用是浪费的 大模型 API 按 token 计费,浪费主要来自三类: | 浪费场景 | 占比(实测) | 说明 | |---|---|---| | 重复问题重调 | 40%+ | 同一问题多人问、换说法问 | | 超时重试无上限 | 20% | 超时后盲目重试,费用翻倍 | | 无上下文控制 | 15% | 长对话把历史全带上,token 暴涨 | 先做这三点:语义缓存去重、重试次数限制、上下文窗口控制。 ## 二、语义缓存:相似问题命中缓存 语义缓存的关键是"向量相似度命中",比精确匹配覆盖更多重复: ```txt 1. 用户提问 → 生成 embedding 向量 2. 和缓存库中近 24 小时的向量算余弦相似度 3. 相似度 ≥ 0.95 → 直接返回缓存答案,不调大模型 4. 相似度 < 0.95 → 调大模型,答案连同向量一起入缓存 ``` ```javascript 缓存 key 设计: key = sha256(归一化后的 query embedding) TTL = 86400(24小时) ``` 实测效果:上线语义缓存后,API 费用降了 45%,热门问题(运费、退款、售后)基本全部命中缓存。 ## 三、限流与重试:控制调用节奏 ```javascript 1. 令牌桶限流:每用户每分钟 10 次,超过返回"稍后再试" 2. 超时设置:connectTimeout 3s,readTimeout 10s 3. 重试:仅限 1 次、间隔 2s,且只对幂等请求重试 4. 熔断:连续 5 次失败,熔断 60 秒,直接走降级 ``` 关键点:重试必须配熔断,否则大模型服务抖动时你的重试会放大故障,还白烧钱。 ## 四、降级策略:服务不可用时的兜底 ```javascript 第一级:语义缓存命中 → 直接返回 第二级:大模型可用 → 正常回答 第三级:大模型不可用 → 关键词模板匹配 第四级:都不行 → 提示"人工客服稍后联系" ``` 降级要平滑,用户无感知,绝不能把 "服务出错" 的报错直接抛给用户。 ## 五、踩坑清单(这 5 个坑都踩过) 1. 没做语义缓存,重复问题重复调大模型,月费多花一半 1. 重试没上限,服务抖动时一次请求重试 5 次,费用翻倍 1. 缓存 key 用原始问题,换说法就 miss,改用 embedding 相似度 1. 没做熔断,大模型故障时所有请求都堆在重试队列 1. 降级直接抛 "服务出错",用户投诉率飙升,改成模板 + 转人工 这次 H5 应用是搭在乔拓云的轻应用产品上的,我主要负责大模型 API 接入层的限流、语义缓存和降级这三块,上线一个月费用降了 45%,用户侧没再出现超时报错。 ## 复盘要点 1. 语义缓存(相似度 ≥0.95)能砍掉 40% 重复调用 1. 超时 3s/10s、重试 1 次、连续 5 次失败熔断 60 秒 1. 降级四级策略平滑过渡,不抛裸错误 以上是个人实践记录,各平台具体功能以官方实时信息为准。 开放问题:你们接大模型 API 时,还有什么省 token 的实操经验?

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册