首页 文章 精选 留言 我的

精选列表

搜索[AI],共10000篇文章
优秀的个人博客,低调大师

AI 架构设计:线上业务如何选择 MessageWindow 与 TokenWindow

![111.png](https://developer.qcloudimg.com/http-save/yehe-1416240/4258ad6ee3bb2ebb6f456e2fca78c310.png) --- ## 问题本质:有限的上下文窗口 大模型的上下文窗口是**硬约束**: - GPT-3.5-turbo: 4K tokens - GPT-4: 8K/32K tokens - Claude 3: 200K tokens - GPT-4 Turbo: 128K tokens 但对话是**无限增长**的: ![03-infinite-growth.png](https://developer.qcloudimg.com/http-save/yehe-1416240/9b16e26b22fc3e9550c88cfcd62a02e5.png) **核心矛盾**:无限对话 vs 有限窗口 → 需要窗口管理机制。 --- ## 两种窗口机制 ![01-comparison.png](https://developer.qcloudimg.com/http-save/yehe-1416240/512923aad568714bb94ec2c0bed4d825.png) ### MessageWindow(消息窗口) **定义**:按**消息对数量**截断,保留最近 N 轮对话。 ```python class MessageWindow: def __init__(self, max_messages=10): self.messages = [] self.max_messages = max_messages def add(self, role, content): self.messages.append({"role": role, "content": content}) # 超过限制时,删除最早的一对(user + assistant) if len(self.messages) > self.max_messages: self.messages = self.messages[-self.max_messages:] def get_context(self): return self.messages ``` **特点**: - 窗口单位:**消息对**(1 user + 1 assistant = 1 轮) - 淘汰策略:FIFO(先进先出),删除最早的完整对话轮次 - 可预测性:总是保留最近 N 轮,用户可感知边界 ### TokenWindow(令牌窗口) **定义**:按**token 总数**截断,保留不超过 N tokens 的历史。 ```python class TokenWindow: def __init__(self, max_tokens=4000, reserve_tokens=500): self.messages = [] self.max_tokens = max_tokens self.reserve_tokens = reserve_tokens # 为新回复预留空间 self.tokenizer = tiktoken.get_encoding("cl100k_base") def count_tokens(self, messages): """计算消息列表的 token 总数""" total = 0 for msg in messages: total += len(self.tokenizer.encode(msg["content"])) total += 4 # 消息格式开销 return total def add(self, role, content): self.messages.append({"role": role, "content": content}) # 从最早的消息开始删除,直到留够空间 available = self.max_tokens - self.reserve_tokens while self.count_tokens(self.messages) > available: self.messages.pop(0) # 删除最早的单条消息 def get_context(self): return self.messages ``` **特点**: - 窗口单位:**token 数**(实际消耗的模型输入单元) - 淘汰策略:逐条删除最早消息,直到满足 token 预算 - 精确控制:严格控制 API 费用和延迟 --- ## 架构对比 ### 1. 资源利用效率 **TokenWindow 胜出** | 场景 | MessageWindow (保留 10 轮) | TokenWindow (4000 tokens) | |------|---------------------------|---------------------------| | 短消息对话(每轮 50 tokens)| 保留 500 tokens | 保留 **80 轮** | | 长文档分析(每轮 800 tokens)| 保留 8000 tokens → **API 拒绝** | 精确控制在 4000 tokens 内 | **结论**:MessageWindow 在极端场景下会**浪费窗口**(短对话)或**超限崩溃**(长对话)。 ### 2. 用户体验一致性 **MessageWindow 胜出** ![04-ux-comparison.png](https://developer.qcloudimg.com/http-save/yehe-1416240/4d29e72abc9cbd92a58267ac6a0b1520.png) **结论**:MessageWindow 的「轮次边界」符合人类对话习惯,TokenWindow 可能在对话中途**不对称地删除**某条消息,打断语义连贯性。 ### 3. 成本可控性 **TokenWindow 胜出** ![05-cost-comparison.png](https://developer.qcloudimg.com/http-save/yehe-1416240/a6150ec12a789c518653c34fa8ede557.png) **结论**:TokenWindow 是 **SLA 保障**的基础,避免突发长文本导致的成本失控。 ### 4. 实现复杂度 **MessageWindow 胜出** | 维度 | MessageWindow | TokenWindow | |------|--------------|-------------| | 依赖 | 标准数组操作 | 需要 tokenizer(如 tiktoken) | | 计算开销 | O(1) 判断长度 | O(n) 遍历计算 token 数 | | 模型迁移 | 无关模型 | 依赖模型的 tokenizer(GPT/Claude 不同) | | 调试难度 | 直观("保留 10 轮") | 抽象("4000 tokens 对应多少轮?") | **结论**:MessageWindow 是 **MVP 首选**,TokenWindow 是生产级优化方向。 --- ## 线上业务的选型逻辑 ![02-decision-tree.png](https://developer.qcloudimg.com/http-save/yehe-1416240/ddbfe2c63c32b17df504b5127c51be59.png) ### 场景 1:客服机器人(短对话、高并发) **推荐:MessageWindow** ``` 特征: - 平均对话轮次:3-5 轮 - 消息长度:每条 50-200 tokens - 用户预期:记住"刚才说的话" 选择理由: ✅ 用户体验一致:"保留最近 5 轮对话"符合客服场景 ✅ 实现简单:无需引入 tokenizer 依赖 ✅ 成本可控:短对话不会触发窗口上限 ❌ 不需要 TokenWindow 的精确控制(场景不极端) ``` ### 场景 2:代码助手(长上下文、复杂任务) **推荐:TokenWindow** ``` 特征: - 单条消息可能包含完整代码文件(500-5000 tokens) - 需要引用多个文件的上下文 - 费用敏感(每次请求成本 $0.1-$1) 选择理由: ✅ 成本可控:严格限制在 32K tokens 预算内 ✅ 避免超限:长文件不会导致 API 拒绝 ✅ 灵活性高:可以保留 1 条长消息或 10 条短消息 ❌ MessageWindow 会在长文件场景下崩溃 ``` ### 场景 3:知识库问答(混合长度、企业级) **推荐:混合策略(MessageWindow + TokenWindow)** ```python class HybridWindow: def __init__(self, max_messages=20, max_tokens=16000): self.max_messages = max_messages self.max_tokens = max_tokens self.messages = [] def add(self, role, content): self.messages.append({"role": role, "content": content}) # 第一道防线:消息数截断(保证体验一致性) if len(self.messages) > self.max_messages: self.messages = self.messages[-self.max_messages:] # 第二道防线:token 截断(保证成本和 SLA) while self.count_tokens(self.messages) > self.max_tokens: self.messages.pop(0) ``` **选择理由**: - MessageWindow 兜底用户体验("总是保留最近 20 轮") - TokenWindow 守住成本红线("绝不超过 16K tokens") - 90% 场景下 MessageWindow 生效(正常对话) - 10% 极端场景 TokenWindow 介入(长文档查询) --- ## 架构权衡矩阵 | | MessageWindow | TokenWindow | 混合策略 | |---|--------------|-------------|---------| | **用户体验** | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | | **成本可控** | ⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | | **实现复杂度** | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | | **极端场景鲁棒性** | ⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | | **调试友好** | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | | **模型无关性** | ⭐⭐⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐ | --- ## 生产环境最佳实践 ### 1. 分层窗口设计 ![06-layered-window.png](https://developer.qcloudimg.com/http-save/yehe-1416240/77340a6b112b4612faadfefac69196a3.png) ### 2. 监控指标 ```python # 关键指标 metrics = { "avg_context_tokens": 统计平均上下文长度, "window_truncation_rate": 窗口截断频率(多少请求触发了删除), "max_tokens_utilization": 窗口利用率(实际 tokens / 最大 tokens), "user_complaint_loss_context": 用户投诉"失忆"的比例 } ``` ### 3. 动态调整策略 ```python # 根据用户行为动态选择 def select_window_strategy(user_profile): if user_profile.avg_message_length < 100: return MessageWindow(max_messages=10) elif user_profile.is_enterprise: return HybridWindow(max_messages=20, max_tokens=32000) else: return TokenWindow(max_tokens=4000) ``` --- ## 常见误区 ### ❌ 误区 1:"TokenWindow 更先进,应该全面替代 MessageWindow" **真相**:技术选择无绝对优劣,要看场景。客服机器人用 TokenWindow 是过度设计。 ### ❌ 误区 2:"保留更多历史总是更好" **真相**:过长的上下文会: - 增加成本(每次请求都带上 10K tokens 历史) - 降低响应速度(模型处理时间与 token 数正相关) - 引入噪音(10 轮前的对话可能已经无关) ### ❌ 误区 3:"用户不会注意到窗口截断" **真相**:用户会明确问「你刚才说的第一个建议是什么?」,失忆会直接导致差评。 --- ## 技术演进方向 ### 1. 智能摘要 + 窗口管理 ![07-smart-summary.png](https://developer.qcloudimg.com/http-save/yehe-1416240/76e26310e300a894fc2ab713102d9faf.png) **优势**:兼顾长期记忆和成本控制。 ### 2. 语义重要性截断 ```python # 不是删除"最早的",而是删除"最不重要的" def semantic_truncate(messages, max_tokens): # 用嵌入模型计算每条消息与当前任务的相关性 scores = [relevance_score(msg, current_task) for msg in messages] # 按相关性排序,删除低分消息 ranked = sorted(zip(messages, scores), key=lambda x: x[1]) ... ``` ### 3. 用户可控窗口 ![08-user-control.png](https://developer.qcloudimg.com/http-save/yehe-1416240/fc68cc65f276cdd1a3dc6fad02f0dc8a.png) 把窗口策略暴露给用户:默认「智能管理」自动裁剪,高级用户可切到「手动选择」,自己指定保留轮数和 token 上限,行为完全可预测。 --- ## 结论 **MessageWindow vs TokenWindow 不是二选一,而是架构分层的选择**: 1. **MVP 阶段**:MessageWindow(快速上线,体验优先) 2. **规模化阶段**:TokenWindow(成本优化,SLA 保障) 3. **成熟阶段**:混合策略 + 智能摘要(体验和成本双优) **决策树**: ![09-conclusion-tree.png](https://developer.qcloudimg.com/http-save/yehe-1416240/a16efa1d096bd4cb95f2c06c3d8144d2.png) **核心原则**:窗口机制是**产品-成本-体验的三角权衡**,没有银弹,只有适配场景的最优解。

优秀的个人博客,低调大师

多账号内容矩阵 AI 自动化搭建迭代记录

今年 6 月份,我们项目组接到了新任务,要搞新媒体自然发文,做账号矩阵,初初接到这个项目,我们集齐大伙搞定了 ppt,我做 ppt 不太行,领导吐槽我写的那几页 ppt 很空,哈哈哈,没有很内耗,我的短板,额,我好像也没有啥长处,好了,转正题,不开玩笑。 后续我们便每个人领取账号,开始做素材整理,先说说错误的开端:开干之前,先是从垂直内容平台找物料,想文案,然后分账号分发内容,产出的内容,都是两位数的曝光数据。干了两天,部门小姐姐拉了策划组开了会议,我认真拿本子做笔记,真是只爱埋头苦干的小笨蛋,这个会议,得出两点,贴合平台热门选题,还有规范内容排版。回来马上调整,发现曝光数据上去了,呦,干得投入进去,把产出内容当作表达观点的载体,常常盯着平台热门榜单的词条,有感而发。后面周末的时候,也更新得起劲,便开始留意分发时段,有些热门选题可以用多账号铺开,也开始把热门选题分享给组内两位小伙伴。后面策划组的小姐姐,说了下同赛道团队的运营情况,对方拿到的曝光量比我们好出几倍,提供了两种思路,多账号轻量化更新,少账号高密度产出。回来之后加了新账号,开启批量内容分发测试之路。很投入,每天分四个时段开始更新,10 点前,16 点 - 18 点,20 点,22 点 - 24 点,在 6 月 21 日,周日晚上,有一条内容,突破了不错的曝光。从单一内容数据来推导运营结论,其实是不严谨的,首先这个账号是美妆定位的账号,而且没有开通平台增值权益,所以我把这份高曝光归属到多重因素叠加的运气。后续策略组又拉了会议,那个时候才知道,策划设计那边有用 WorkBuddy 编写智能体,实现内容自动化产出,我真的是完全没想到!!!后续那位同事,也把他编写的配置脚本发给我们,总之我直接套用之后,工具产出的内容几乎都和热门选题本身契合度很低,配套素材也无法匹配。后面我开始自己和 WorkBuddy 对话,定制属于项目需求的专属智能体。说了很多关于背景的铺垫,现在转入正题! 我一开始的思路是,既然我要做自然流量沉淀,那我可以完全不依赖于现成的平台热门选题,我甚至可以自主策划长效选题,或者说我可以在现有热门选题后面再搭配两个和这个选题相关的自制标签,两种思路并行推进,这就关系到文案生成逻辑,我的想法是尽可能给到多元创作思路,不过于局限,先把拓宽的创作空间给到工具,加上基础的产出要求,然后在实操过程中逐步调整,不一上来就把规则定死。 ![](https://developer.qcloudimg.com/http-save/yehe-12622477/9e05dacf008900eae69e7a8f9ab272f7.png) 这段文字是基于我之前已经让 WorkBuddy 拆解过策划组同事那份智能体配置的基础上撰写的,各类平台名称脱敏规则我都提前录入给到工具。 我查看了工具产出的文案,整体基本符合内容分发规范,但是出现素材同步受限的问题,梳理思考后得出两点判断,第一点,配图是否为硬性产出要求,可以先只产出纯文字内容,配套素材功能放在后期逐步迭代完善;如果配图素材可控性较差,不如先不加入配图;第二点,配图素材来源不用局限单一垂直内容阵地,全网合规素材只要和内容主题匹配度达标就可以使用。 ![我的提问](https://developer.qcloudimg.com/http-save/yehe-12622477/0ac335a9bdd2396b81d8c0be64bd73d3.png) 调试到这里,工具加载响应耗时很久,也不知道是不是网络波动问题,还是我的需求描述不够清晰,不等了,先看当天的平台热门榜单,没有看到工具推荐的选题,所以我追加提问: ![](https://developer.qcloudimg.com/http-save/yehe-12622477/af6e07c93b4013803cd78b6093bce439.png) ![](https://developer.qcloudimg.com/http-save/yehe-12622477/b5bcc5608255ba2519bb29754e7cc29e.png) 这个回答,让我停留了一段时间,我陷入了思考。工具比人更客观,更全面,我有种敬畏感。我承认我的主观和匮乏。 随即我确定了我的中心思想,质上我们希望稳定提升账号内容曝光,那么图片也不是强制的,我已经有了引导语,顺着这个思路,继续测试下多账号发文,后面再慢慢完善,又或者这个skill就发文字版的,后续再重新开发一个带图的,甚至是可以发视频的,我试过很多次,越调整越差,特别是这种大的设立点,因为在此之前挺多失败案例,但是其中有一个很成功的案例就是【自动化生成日报】,这个我后面也会写。 ![我的需求提问](https://developer.qcloudimg.com/http-save/yehe-12622477/3c5c93a0978b783de2bce0a59a4a44f4.png) ![workbuddy的回复](https://developer.qcloudimg.com/http-save/yehe-12622477/101647cd2db0a91ffe228428ee37b422.png) 中间多轮调试对话我就不截图展开说了,大概就是我问他如何我需要怎么做,他告诉我,然后他弹出了窗口,我登录了两个账号,再重复一次内容分发测试。 ![](https://developer.qcloudimg.com/http-save/yehe-12622477/0f536b68fc5438aacd91feaaeee1fe69.png) 到这里就差不多结束了,目前仅完成 7 个账号登录环境调试,仅能做纯文字内容生成测试; 在小规模测试样本里,贴合账号人设产出的内容更容易拿到较好曝光,完整分发流程仍在优化。 后面我微调了一些要求,比如:每日产出多少篇,时间间隔,等等一些比较细致的调整。后面我生成了一个.bat的插件放在桌面,完整可一键安装的程序还在打磨优化。 本来我是让workBuyyd给我汇总整理近几天的内容分发数据,包含总曝光量、产出篇数,以及对应的数据分析复盘,但是我的体验版积分用完了,吼吼吼,在腾讯云开发者社区发布相关原创文章能够免费领取工具积分,特别实用。 ![](https://developer.qcloudimg.com/http-save/yehe-12622477/4d4b6516f18b101f206006cb4a1a1474.png) ![](https://developer.qcloudimg.com/http-save/yehe-12622477/cd085179cb8d596957ebd574446f185e.png) 到了总结部分(仅基于个人体感,仅供参考): 一个需求先拆分,从简单入手,先搭建起来,再慢慢完善,如果一个窗口沟通了3次以上,都达不到要求的一半,果然放弃,新的窗口,重新下需求沟通,中心思想就是:优先筛选适配的执行方案,不耗费大量精力改造难以落地的配置。

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码