首页 文章 精选 留言 我的

精选列表

搜索[demo],共10000篇文章
优秀的个人博客,低调大师

会员卡模板查询接口(alipay.marketing.card.template.query)JAVA版本demo

说明: 该接口主要用于查询已创建的会员卡模板参数详细信息,官方接口文档请点击【会员卡模板查询接口】 创建模板接口参考该贴:[url]https://openclub.alipay.com/read.php?tid=1577&fid=71[/url] 修改模板接口参考该贴:[url]https://openclub.alipay.com/read.php?tid=4503&fid=71[/url]代码调用示例: //alipay.marketing.card.template.query (会员卡模板查询接口) public static void template_query(){ AlipayClient alipayClient=alipa

优秀的个人博客,低调大师

会员卡模板修改接口(alipay.marketing.card.template.modify)JAVA版本demo

说明: 该接口主要用于创建之后的会员卡的模板修改,官方接口文档请点击【会员卡模板修改】 创建模板接口请参考我的这个帖子:[url]https://openclub.alipay.com/read.php?tid=1577&fid=71[/url]接口调用示例: //alipay.marketing.card.template.modify (会员卡模板修改) public static void template_modify(){ AlipayClient alipayClient=alipayclient(); AlipayMarketingCardTemplateModifyRequest request = new AlipayMarketingCardTe

优秀的个人博客,低调大师

MapReduce对交易日志进行排序的Demo(MR的二次排序)

1.日志源文件 (各个列分别是: 账户,营业额,花费,日期) zhangsan@163.com 6000 0 2014-02-20 lisi@163.com 2000 0 2014-02-20 lisi@163.com 0 100 2014-02-20 zhangsan@163.com 3000 0 2014-02-20 wangwu@126.com 9000 0 2014-02-20 wangwu@126.com 0 200 2014-02-20 想要的结果: (计算出每个账户的总营业额和总花费,要求营业额排序降序,如果营业额相同则花费少的在上面) zhangsan@163.com 9000 0 9000 wangwu@126.com 9000 200 8800 lisi@163.com 2000 100 1900 2.写代码: InfoBean.java 对账户的后三个字段封装成一个Bean对象 1 import java.io.DataInput; 2 import java.io.DataOutput; 3 import java.io.IOException; 4 5 import org.apache.hadoop.io.WritableComparable; 6 7 //要和其他的InfoBean类型进行比较,所以此处泛型T为InfoBean 8 public class InfoBean implements WritableComparable<InfoBean> { 9 10 private String account; 11 private double income; 12 private double expenses; 13 private double surplus; 14 15 /* 16 *如果不写这个方法,封装InfoBean对象的时候就要分别set这个对象的各个属性. 17 */ 18 public void set(String account,double income,double expenses){ 19 this.account = account; 20 this.income = income; 21 this.expenses = expenses; 22 this.surplus = income -expenses; 23 } 24 @Override 25 public void write(DataOutput out) throws IOException { 26 out.writeUTF(account); 27 out.writeDouble(income); 28 out.writeDouble(expenses); 29 out.writeDouble(surplus); 30 } 31 32 @Override 33 public void readFields(DataInput in) throws IOException { 34 this.account = in.readUTF(); 35 this.income = in.readDouble(); 36 this.expenses = in.readDouble(); 37 this.surplus = in.readDouble(); 38 } 39 40 @Override 41 public int compareTo(InfoBean o) { 42 if(this.income == o.getIncome()){ 43 return this.expenses > o.getExpenses() ? 1 : -1; 44 } else { 45 return this.income > o.getIncome() ? -1 : 1; 46 } 47 } 48 49 @Override 50 //toString()方法输出的格式最好和源文件trade_info.txt中的格式一样, 字段通过Tab键分隔. 51 //而且在SumReducer类输出k3,v3的时候会输出k3(context.write(key, v);) 所以这个地方没有必要再输出k3(account) 52 public String toString() { 53 // return "InfoBean [account=" + account + ", income=" + income 54 // + ", expenses=" + expenses + ", surplus=" + surplus + "]"; 55 return this.income + "\t" + this.expenses+"\t" + this.surplus; 56 } 57 public double getIncome() { 58 return income; 59 } 60 61 public void setIncome(double income) { 62 this.income = income; 63 } 64 65 public double getExpenses() { 66 return expenses; 67 } 68 69 public void setExpenses(double expenses) { 70 this.expenses = expenses; 71 } 72 73 public double getSurplus() { 74 return surplus; 75 } 76 77 public void setSurplus(double surplus) { 78 this.surplus = surplus; 79 } 80 81 public String getAccount() { 82 return account; 83 } 84 85 public void setAccount(String account) { 86 this.account = account; 87 } 88 89 } SumStep.java 1 import java.io.IOException; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.fs.Path; 5 import org.apache.hadoop.io.LongWritable; 6 import org.apache.hadoop.io.Text; 7 import org.apache.hadoop.mapreduce.Job; 8 import org.apache.hadoop.mapreduce.Mapper; 9 import org.apache.hadoop.mapreduce.Reducer; 10 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 11 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 12 13 public class SumStep { 14 15 public static class SumMapper extends Mapper<LongWritable, Text, Text, InfoBean>{ 16 private Text k = new Text(); 17 private InfoBean bean = new InfoBean(); 18 19 @Override 20 protected void map(LongWritable key, Text value,Mapper<LongWritable, Text, Text, InfoBean>.Context context) 21 throws IOException, InterruptedException { 22 23 String line = value.toString(); 24 String [] fields = line.split("\t"); 25 String account = fields[0]; 26 double income = Double.parseDouble(fields[1]); 27 double expenses = Double.parseDouble(fields[2]); 28 k.set(account); 29 bean.set(account, income, expenses); 30 context.write(k, bean); 31 } 32 } 33 public static class SumReducer extends Reducer<Text, InfoBean, Text, InfoBean>{ 34 private InfoBean v = new InfoBean(); 35 @Override 36 protected void reduce(Text key, Iterable<InfoBean> values,Reducer<Text, InfoBean, Text, InfoBean>.Context context) 37 throws IOException, InterruptedException { 38 double sum_in = 0; 39 double sum_out = 0; 40 for(InfoBean bean : values){ 41 sum_in += bean.getIncome(); 42 sum_out += bean.getExpenses(); 43 } 44 /* 45 * 在crxy的流量统计的案例中 是如下的方式写出k3和v3的 在reduce方法中new这个封装好的对象. 46 * 但是如果数据量比较大的情况下 是可能会造成内存溢出的. 47 * TrafficWritable v3 = new TrafficWritable(t1, t2, t3, t4); 48 * context.write(k2, v3); 49 * 50 * 所以建议把这个封装的对象写在"脑袋顶上" 如上所示....private InfoBean v = new InfoBean(); 51 * 但是如果你Java基础比较好的话可能会说 在Java中是引用传递...所以后面的v会覆盖前面的v,造成最后只有最有一个v 52 * 其实这里是不会产生问题的,因为context.write()方法会直接把v3对应的InfoBean对象序列化. 53 * 虽然之前对象的引用确实覆盖了,但是之前对象的值等都保存了下来.是可以放在这个类的"脑袋顶上"的. 54 * 让这个类公用这个InfoBean对象. 55 */ 56 57 v.set(key.toString(),sum_in,sum_out); 58 context.write(key, v); 59 } 60 } 61 public static void main(String[] args) throws Exception { 62 Configuration conf = new Configuration(); 63 Job job = Job.getInstance(conf); 64 job.setJarByClass(SumStep.class); 65 66 job.setMapperClass(SumMapper.class); 67 //以下两行可以在满足一定条件的时候省略掉. 68 //在满足k2和k3,v2和v3一一对应的时候就可以省略掉. 看SumReducer类所在行的泛型. 69 job.setMapOutputKeyClass(Text.class); 70 job.setMapOutputValueClass(InfoBean.class); 71 72 FileInputFormat.setInputPaths(job, new Path(args[0])); 73 74 job.setReducerClass(SumReducer.class); 75 job.setOutputKeyClass(Text.class); 76 job.setOutputValueClass(InfoBean.class); 77 FileOutputFormat.setOutputPath(job, new Path(args[1])); 78 job.waitForCompletion(true); 79 } 80 } 项目打成jar包放到Linux中,日志源文件上传到HDFS上.运行结果如下: hadoop jar /root/itcastmr.jar itcastmr.SumStep /user/root/trade_info.txt /tradeout 但是这个结果并没有排序.还是按照账号的字典排序. 以这个MR的输出当做输入对其根据InfoBean对象进行排序..... 上代码SortStep.java: 1 import java.io.IOException; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.fs.Path; 5 import org.apache.hadoop.io.LongWritable; 6 import org.apache.hadoop.io.NullWritable; 7 import org.apache.hadoop.io.Text; 8 import org.apache.hadoop.mapreduce.Job; 9 import org.apache.hadoop.mapreduce.Mapper; 10 import org.apache.hadoop.mapreduce.Reducer; 11 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 12 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 13 14 public class SortStep { 15 //这个Mapper读取的HDFS文件是SumStep Reduce计算输出的文件. 16 public static class SortMapper extends Mapper<LongWritable, Text, InfoBean, NullWritable>{ 17 private InfoBean k = new InfoBean(); 18 @Override 19 protected void map(LongWritable key,Text value,Mapper<LongWritable, Text, InfoBean, NullWritable>.Context context) 20 throws IOException, InterruptedException { 21 String line = value.toString(); 22 String [] fields = line.split("\t"); 23 String account = fields[0]; 24 double income = Double.parseDouble(fields[1]); 25 double expenses = Double.parseDouble(fields[2]); 26 k.set(account, income, expenses); 27 //现在是要求按照InfoBean对象中的规则排序(InfoBean中有compareTo方法)...所以InfoBean对象当做k2... 28 context.write(k,NullWritable.get());//不能传null,NullWritable.get() 是获得的this对象. 29 } 30 } 31 public static class SortReducer extends Reducer<InfoBean, NullWritable, Text, InfoBean>{ 32 private Text k = new Text(); 33 @Override 34 protected void reduce(InfoBean bean, Iterable<NullWritable> values,Reducer<InfoBean, NullWritable, Text, InfoBean>.Context context) 35 throws IOException, InterruptedException { 36 String account = bean.getAccount(); 37 k.set(account); 38 context.write(k, bean); 39 } 40 } 41 42 public static void main(String[] args) throws Exception { 43 Configuration conf = new Configuration(); 44 Job job = Job.getInstance(conf); 45 job.setJarByClass(SortStep.class); 46 47 job.setMapperClass(SortMapper.class); 48 //以下两行可以在满足一定条件的时候省略掉. 49 //在满足k2和k3,v2和v3一一对应的时候就可以省略掉. 看SumReducer类所在行的泛型. 50 job.setMapOutputKeyClass(InfoBean.class); 51 job.setMapOutputValueClass(NullWritable.class); 52 53 FileInputFormat.setInputPaths(job, new Path(args[0])); 54 55 job.setReducerClass(SortReducer.class); 56 job.setOutputKeyClass(Text.class); 57 job.setOutputValueClass(InfoBean.class); 58 FileOutputFormat.setOutputPath(job, new Path(args[1])); 59 job.waitForCompletion(true); 60 } 61 } 打成jar包,然后运行命令....输入为上面SumStep.java的输出 hadoop jar /root/itcastmr.jar itcastmr.SortStep /tradeout /trade_sort_out 排序之后的结果: 在MapReduce读取输入数据的时候,如果这个文件是以下划线开始的话,那么会不会读取这个文件中的内容...."_SUCCESS"文件就不会读取.... 如果想对某个类进行排序, 1.这个类要实现WritableComparable接口, 2.还要重写compareTo方法. 根据自己的业务逻辑自定义排序. 只需要把要排序的类当做k2 就可以了...框架自动排序. 要排序对象的compareTo方法是框架调用的,框架在shuffle这个阶段会调用排序. shuffle后面会讲,shuffle由很多很多的阶段组成,分区,排序,分组,combiner等等...把这些小的细节都讲完了之后再讲shuffle. 本文转自SummerChill博客园博客,原文链接:http://www.cnblogs.com/DreamDrive/p/7398455.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

甲方内部 FDE(二):从 demo 到上线要补的三道工程关

> 甲方 FDE 手记 ②|方法 > 系列主线:AI 落地不是交付一个系统,是建立一套让 AI 能活下来的机制。本篇讲这套机制的方法层。 --- ## 开篇:承诺“全对”是条死路 我在内部推 AI 工具这两年,见过一种反复出现的场面。工具做出来了,跑给业务看,几十条数据里有几条不对,当场就有人变脸:“这玩意不行啊”。 这时候解释“大语言模型是概率系统”没有用。业务不关心概率,他关心的是这几条错了会不会算到他头上。 做后端出身的人对“验收”这两个字是有肌肉记忆的。写死的代码,输入 A 就永远输出 B,单元测试跑过几百个用例才敢往生产发。我们习惯了“验收等于全对,错一个 case 就是 bug”。Agent 不是这类东西。同样的输入,它大多数时候对,少数时候跑偏,而且它不会主动告诉你这次跑偏了。 所以企业里做 AI 应用,承诺“全对”是条死路。能承诺的只有一件事,就是错了能被抓住。 抓住它靠的不是更好的模型,是三样工程件:一把尺子,一个刹车,一份权属。换成我们熟悉的名字,就是评测集、兜底层、责任链。三样东西和单元测试、熔断降级、灰度发布是同一类东西,只是这次要拦住的不是服务雪崩,是模型的幻觉。 本篇把这三关拆开讲,每关给出能照着抄的最小交付,以及它要付的代价。 --- ## 先看全景:三道关各自管什么 三者的分工可以这样记:评测集是尺子,回答“这次改动有没有让它变差”;兜底层是刹车,回答“不确定的输出怎么处理”;责任链是权属,回答“出错算谁的”。 | 部件 | 回答的问题 | 缺了会怎样 | 主要成本 | 部署顺序 | |---|---|---|---|---| | 评测集 | 有没有变差 | 优化全是盲改,验收全靠感觉 | 人工标注 | 1 | | 兜底层 | 不确定的怎么处置 | 一次事故,项目直接下线 | 复核人力 | 2 | | 责任链 | 出错算谁的 | 业务不敢用,工具闲置 | 改流程、改 KPI | 3(但要最早启动) | 三样不是并列关系,是一条链。尺子量得出问题,刹车拦得住,权属定得清,最后错误样本还要回流进尺子。少任何一环,另外两环都会退化成摆设。 顺序上有个反直觉的地方:责任链排在第 3,不是因为最不重要,恰恰因为它最慢。改流程要动 KPI、改汇报关系,走完一轮可能几个月。它要最先启动,但不能等它落定才上前两关。 --- ## 第一关:评测集,先有尺子再谈效果 ### 定位 在回答“这个 Agent 效果好不好”之前,得先有办法回答“这次改动让它变好了还是变差了”。评测集就是这把尺子。 ### 被什么痛点逼出来 改 prompt、换模型、调检索参数,这三件事我们每天都在做。没有评测集的时候,判断效果好坏的办法是把几个例子跑一遍,看着“好像顺眼了”就发上线。 这跟没有单元测试就重构代码是一回事。不是不行,是找死。改了三处,可能两处变好、一处变坏,肉眼看不出来。更麻烦的是模型会换代。今天调好的 prompt,半年后换一个模型版本可能就不灵了,而你毫无察觉。 MIT NANDA 2025 年那份《The GenAI Divide》给的根因判断很直接:多数 GenAI 系统不保留反馈、不适应上下文、也不会随时间改进。没有评测集,你连“它变差了”这件事都发现不了,改进更无从谈起。 ### 最小可交付物 一个能进 CI 的评测集,两样东西就够:用例的字段结构,以及抽样怎么分层。 字段结构,我用的是这个: ```yaml # evals/cases/refund-triage.yaml - id: case-0042 bucket: production # production | adversarial | edge | replay intent: 判断一笔退款申请是否应自动批准 role: 客服专员 retrieval_shape: partial # full | partial | missing | contradictory difficulty: medium # easy | medium | hard | adversarial input: user_query: "..." context_refs: ["order-8812", "refund-history-77"] expected: decision: 转人工 reason_contains: ["超出授权额度"] rubric: evals/rubrics/refund-triage.md source: trace-20260811-a93f replayed_from: null # 若由 bad case 回流生成,填原 trace id ``` 五个字段值得单独说。 `bucket` 决定这条样本在回归里扮演什么角色。`retrieval_shape` 是检索形状,RAG 系统大多数失败不是模型答错,是上下文没捞全、捞到冲突的、或压根没捞到,漏掉这个轴就漏掉了最常见的失败原因。`rubric` 把判定标准外置成文件,不要在用例里写死“应该输出 X”,规则会变,用例不该跟着改。`source` 记录这条从哪条真实 trace 来的,没有来源的样本,半年后没人敢删也没人敢信。`replayed_from` 留给回流用,见后面那节。 抽样分层用四桶,这是 2026 年几家公开的评测工程实践里比较常见的一种分法: | 桶 | 来源 | 占比 | 证明什么 | |---|---|---|---| | 生产流量分层抽样 | 线上 trace 导出 | 60% | 能处理真实流量 | | 对抗性样本 | 越狱语料、红队测试 | 15% | 攻击下扛得住 | | 边缘案例 | 领域专家手写 | 15% | 长尾能处理 | | 失败回放 | 已发生的错误 | 10% | 不为同一个 bug 反复付账 | 四桶里最值钱的是第四桶:它把过去犯过的错固化成资产,让同一个坑不用踩第二次,也是后面回流机制的落点。 ### 代价 四条,都不轻。 1. **标注成本是实的。** 想要 300 条能用,通常得从一千多条原始 trace 里挑,还要逐条写判定标准。这笔时间省不掉,也不能外包给不了解业务的人。 2. **评测集会过期。** 业务规则变了、产品流程改了,用例里的期望输出就作废了。见过太多评测集建完半年没人维护,跑出来全绿,实际测的是一个已经不存在的系统。 3. **评测集自己可能有偏。** 样本全来自某一段时间流量,或者全由一个人标注,测出来的就是那个切片,不是你的系统全貌。 4. **团队会开始为评测集优化,而不是为业务优化。** 这条最隐蔽。指标一旦进了考核,人就会去讨好指标。判据很简单:评测分数一直在涨,业务侧投诉量没变,你大概已经掉进这个坑了。 ### 判据 什么时候不值得建评测集?低频、低风险、人工本来就很快的场景。一个月跑几次、错了也没后果、人自己看一眼只要几秒钟,这种场景建评测集的成本高于收益,不如直接加一个人工确认。 多大合适?不是越大越好,是分层覆盖够不够。100 条精心标注的样本,比 5000 条模型合成的样本有用得多。 ### 常见错 用模型生成的样本当评测集。这等于让考生自己出卷自己判。合成样本可以用来做压力测试、扩充边缘覆盖,不能用来证明效果。 真要评估,判定环节也得留一手:用不同模型家族做裁判,同家族模型有系统偏差;裁判和人工标注的一致率低于 80%,先把裁判 prompt 改好再说;输出要结构化,让裁判同时给出分数和理由,只给分数的裁判没法复盘。 还有一种更隐蔽的错法,我见过别人踩,也差点自己踩:项目刚开始,工程师在文档工具里手写了几十个 case,团队花几天标注完接进 CI,从此每次构建全绿。半年后 rubric 调好了、裁判调好了、阈值校准了,分数一路向上。然后生产着火了。 问题不在 rubric 不够细,在于这套评测从第一天起测的就不是线上那个系统。样本是凭想象写的,不是从真实 trace 里捞的;规则变了没人同步;每次全绿只是说明你越来越擅长通过一场自己出的考试。判断标准很简单:**评测集里有多少条能指出它来自哪条真实请求?** 答不上来,就不是评测集,是一份愿望清单。 --- ## 第二关:兜底层,置信度低的不直接对外 ### 定位 评测集告诉你整体准不准,兜底层处理的是另一件事:具体到这一条,信不信得过。 一个整体准确率 95% 的系统,意味着每一条都有 5% 的可能出错。整体数字再好看,落到具体某一条上时,你只有信和不信两个选择。兜底层就是做这个选择的机制。 ### 被什么痛点逼出来 不确定的输出直接给了业务,就是一个事故。而事故在 AI 项目里的代价特别高。一个智能客服跑了一个月,某一单答得离谱被截图发群里,第二天项目下线。人对人是默认容错的,对机器是默认零容错的。 所以低置信度的输出必须有个去处。机器处理大头,人盯住小头,这套逻辑和熔断降级是同一套,只不过这次熔的是模型的幻觉。 ### 最小可交付物 不要用一个阈值切两半,用两条线三个区: ```python # 双闸门路由:两条线,三个区 UPPER_GATE = 0.90 # 之上:自动执行 LOWER_GATE = 0.70 # 之下:专家升级或直接拒绝 def route(confidence: float, risk_tier: str, reversible: bool) -> str: if confidence >= UPPER_GATE: # 高置信也要看动作范围:不可逆动作一律不放行 return "auto" if reversible and risk_tier == "low" else "review" if confidence >= LOWER_GATE: return "review" # 真正的不确定区,人能补上模型没有的信息 # 低于下闸:模型不知道自己不知道 # 送给没有上下文的普通审核员,比直接拒绝更危险 return "escalate_or_refuse" ``` 下闸之下那一区是最容易漏的。直觉上“不确定就给人看”是对的,但如果模型连自己哪儿不知道都不知道,把它丢给一个同样没有上下文的审核员,他大概率会盖章通过,这比直接拒绝更糟。 ### 代价 复核队列要人盯,这是实打实的人力成本,省不掉。设计目标不是消灭这个队列,是让它稳定在一个班组能吸收的规模。 阈值定高定低都是两难。定高,人工量大,工具价值被稀释;定低,漏网多,出一次事全场皆知。没有标准答案,只能靠数据调。 ### 判据 阈值靠数不靠猜。取两百条标注样本跑一遍,记录每条置信度,看准确率在哪个点断崖下跌,那个拐点就是阈值。公开实践里两个分类器的拐点分别落在 0.72 和 0.55,差得很远。不存在通用默认值,别抄。 校准不是一次性的。按月重校准,看两个信号:自动执行区被人工推翻的比例如果明显高于复核区,说明上闸定低了;复核区被推翻的比例接近 0,说明上闸定高了,审核员只是在盖章。行业实践给的经验区间是复核区推翻率稳定在 8% 到 25% 之间,说明人确实在改模型的判断,而不是在执行一个橡皮图章。 不可逆的决策必须同步复核。涉及资金、合同、对外承诺的动作,让人等几分钟的代价,远低于做错的代价。异步复核只适用于做错了还能撤回的场景。 置信度也不该是唯一的信号。纯靠一个分数路由,会把大量其实很确定的样本也送进人工队列,因为模型自评本来就偏保守。多信号路由的做法是同时看几样:模型置信度、这个领域的风险分级、涉及实体的历史风险画像、这次请求跟训练集比有多新颖、这个类别过去一段时间的实际准确率。公开实践里,多信号的升级率比纯置信度低三到五成,缺陷检出率还相当或更好。人工队列少了,但没放过该拦的。 ### 常见错 全局一个阈值。分错一条评论和分错一笔交易,后果差几个数量级,阈值不该一样。至少按领域风险分级拆成几档。 信模型自评的置信度。这是最贵的一个坑。2026 年公开的一个理赔分类案例里:模型自评 0.92 判为常规,实际批错了一笔金额不小的赔付。后来改成用平均 logprobs 而不是让模型自己打分,并在低分区加人工层,次月自动批准的错误归零,人工队列稳定在一个班组二十分钟能处理完的规模。 说到底,模型对自己答案的置信度,告诉我们的不比答案本身多多少。 低置信的时候也别急着送人工,先走便宜的路径:更锐利的 prompt 重试一次,再不行换更强的模型,最后才到人。重试要设上限,通常两次,否则你只是把失败变慢变贵了。 --- ## 第三关:责任链,出错算谁的 ### 定位 前两关解决能不能抓住错,这一关解决的是:抓住了之后,谁为它负责。 ### 被什么痛点逼出来 工具把一段活压到原来的零头,省下来的时间去哪了?这是我在现场反复遇到的问题。答案不是省掉了,是转移到了别的地方:谁来确认、出错了算谁的、KPI 怎么算上。 责任不清的时候,业务不敢用。不是不想用,是不敢签那个字。很多 AI 项目不是被技术杀死的,是被责任真空饿死的。 这一条在金融行业尤其硬。证监会科技监管司在 2026 年 6 月公开讲过行业面临的四类挑战,治理层面就点了“主体权责界定模糊”。这不是我们自己的观察,是监管机构点名的问题,本系列第三篇会展开。 ### 最小可交付物 责任链模板,三层就够: | 层 | 内容 | 谁签字 | |---|---|---| | 建议层 | AI 输出,标注置信度与依据 | 不签字 | | 定稿层 | 人工确认后的结果 | 业务岗 | | 追责层 | 出错时的归属规则 | 事先约定,不事后议 | 关键在第二层。AI 输出只是建议,人工确认才是定稿。这行字写进流程文件,比任何技术方案都管用。业务部门一看,这东西不让我背锅,还能提效,才真的会用。 质检角色要独立于执行角色。这是我做研发交付智能体时最坚持的一条。把研发流程拆成七个角色之后(PM、业务分析师、方案设计师、方案评审员、开发工程师、代码审查员、测试工程师),有三个角色专门干一件事:检查别人的产出。方案评审员审方案,代码审查员审代码,测试工程师独立验证,谁都不审自己。 这跟责任链是同一件事在架构层的对应物:质量把关不能自己说了算。人和人之间是这样,智能体和智能体之间也得是这样。让生成代码的那一个顺手给自己打分,评分一定好看,也一定没有意义。 ### 代价 三关里这一关最难。改流程就要改 KPI、改汇报关系,会得罪人。这是组织成本,不是技术成本,也没有技术解法。 ### 判据 哪些环节必须人工确认,哪些可以放行?判据是错误的不可逆程度: - 错了能撤回、代价低:可以放行,事后抽检 - 错了要外部沟通、要走流程撤回:抽检加兜底 - 错了不可逆、涉及资金或对外承诺:必须人工确认,且同步 ### 常见错 把责任推给“AI 还在学习”。这句话说出口,意味着没人负责。而在业务看来,还在学习和不可用是同一个意思。 --- ## 把三关串起来:bad case 回流 三样东西各自都能起作用,但真正让系统变好的是把它们接成一条链,让线上出错的样本自动回到评测集里。 ``` 线上 trace │ ├─ 触发(人工推翻 / 用户投诉 / 兜底层拦截且复核判定为错) │ ├─ 人工确认:这条确实是错的,期望输出是什么 │ ├─ 入集:写入 bucket=replay,replayed_from=原 trace id │ └─ 门禁:进入回归,下次改动必须过这一条 ``` 最后一步是关键。回流进来的样本如果只是躺在目录里,等于什么都没做。它必须进 CI,成为下次发版的一道门槛:这次错了,下次就不许再错。 有句话说得挺准:只是把日志存下来,没有人看、没有人处理,AI 不会因为用得多了就自动变好。日志的价值不取决于存了多少,取决于有没有回流机制,以及有没有人守着它。 这套结构有个好记的对照:把 AI 当成一个新来的实习生来管理。 实习生交上来的东西不能直接发给客户,得有师傅先过一遍,这是兜底层。师傅改出来的那些错要整理成带教笔记,下一个人不再犯,这是回流机制。至于这个实习生什么时候能独立干活,不看他自己说行不行,看师傅定期抽查的结果,这是评测集。 带一个新人,和上一个 AI 系统,要操心的事情其实差不多。 --- ## 部署顺序,与四个自检问题 部署顺序:先建评测集。没有尺子,后面两关的调优全是盲改。再上兜底层,先保证不出事。责任链最后落,但要最早启动,因为它最慢。 自检四问: 1. 最近一次改 prompt 或换模型,有没有一个数字能告诉你效果变好还是变差? 2. 置信度低的输出,有没有一个明确的去处,而不是直接给了业务? 3. AI 的产出和人工确认的结果,在流程文件里有没有分开写? 4. 线上犯过的错,有没有变成下次必须通过的测试? 四问里任何一问答不上来,对应的那一关就还没建起来。 这套东西不是 AI 技术,是工程方法论。模型每年换代,今天的最强模型明年就是地平价,但尺子、刹车、权属这三样不换。你在这一关投入的东西,可以跨模型复用。 还有一点我的体会:确定性交付的方向,可能不是让 AI 更强,而是让 AI 更懂你,也就是把约束、上下文、角色边界做扎实。这份投入比等下一个模型版本更可控。 本篇讲的是方法。下一篇讲底线:在金融行业,有哪些东西是买不来的。

优秀的个人博客,低调大师

koubei.marketing.data.indicator.query(口碑商户经营数据查询接口)JAVA版本demo

说明: 经营报表产品是官方提供的一套标准接口,开发者通过此接口包可以获取商家的经营指标及商家会员的消费习惯洞察,同时接口支撑实时指标查询,口碑商户经营数据查询接口(koubei.marketing.data.indicator.query)可获取商户经营指标,包含会员发展、交易现状、活动评估。此接口支撑实时指标查询接口请求示例: //koubei.marketing.data.indicator.query(口碑商户经营数据查询接口)public static void DataIndicator_Query(){ AlipayClient alipayClient=alipayclient(); KoubeiMarketingDataIndicatorQueryRequest request =

优秀的个人博客,低调大师

koubei.marketing.data.trade.habbit.query(商户会员交易习惯查询接口)JAVA版本demo

说明: 商户会员交易习惯查询接口(koubei.marketing.data.trade.habbit.query)可获取会员在商户的消费习惯,包含复购率、桌单价、桌单价智能分析,商户会员交易习惯可帮助商户了解商户会员的消费习惯,以便更好的设置活动(如券门槛等)。接口请求示例: //koubei.marketing.data.trade.habbit.query(商户会员交易习惯查询接口) public static void DataTradeHabbit_Query(){ AlipayClient alipayClient=alipayclient(); KoubeiMarketingDataTradeHabbitQueryRequest request = ne

优秀的个人博客,低调大师

信用借还之zhima.merchant.order.rent.query(信用借还订单查询)JAVA版本demo

说明: 接口作用:芝麻信用借还产品为商户提供的供商户查询借还订单详情的接口 附创建订单接口帖子:https://openclub.alipay.com/read.php?tid=3219&fid=72 调用示例代码如下: //zhima.merchant.order.rent.query 信用借还订单查询接口 public static void OrderRent_Query(){ AlipayClient alipayClient=alipayclient(); ZhimaMerchantOrderRentQueryRequest request = new ZhimaMerchantOrderRentQueryRequest(); reques

优秀的个人博客,低调大师

麻省理工的AI比你更懂 | 论文+Demo

本文来自AI新媒体量子位(QbitAI) 对方说完一句话,还配了一个“围笑”的表情。 问:这代表着“你真棒”,还是代表着“你死定了”?是代表着“礼貌的拒绝”,还是代表着“克制的友好”?你是否也曾不禁感叹:这tm到底什么意思…… 抱有同样疑问的,还有来自麻省理工的几位“高级知识分子”。 为了理解一句话背后的情感含义,这些研究人员研发出一套人工智能算法,用来分析:她说的到底是不是反讽?讲真,这套系统比大多数真人更厉害。 如何做到这一点? 深度学习。这些研究人员搭建了一套深度神经网络,然后使用来自Twitter(美国微博)上的大量对话数据进行训练。这个方法之所以可行,还得拜表情符号所赐:人们在微博上表达某种情感时,常常会配上一些表情符号,例如emoji。 这些emoji表情,相当于给那句话,打了一个标签。于是从这个点突破,这套深度学习系统,即便不了解

优秀的个人博客,低调大师

从 Demo 到生产:SLO、降级、评测、灰度、成本,五件事一次讲清

## 引子:模型不在你的机房里,但它在你的流程里 过去两年,企业 AI 的讨论焦点变了一次:从"能不能做"变成"敢不敢让它上线"。 这个转变有一个很具体的标志——**模型第一次以"依赖"的身份,出现在企业的架构图里。** 它不在你的机房里,不受你的发布流程控制,按调用计费,随时可能升级、限流、降级,甚至退役。你和它之间只有一份服务协议,没有劳动关系。 依赖本身不是问题。问题是很多团队**还没为依赖交过学费**:没被真实故障打过,也没做过一次真演练。于是稳定性方案写得像一篇满分作文——SLO、降级、灰度、容量规划样样都有,但经不起一次真实中断。 这一节讲五件事(双 SLO、降级链、评测集、灰度回滚、成本与容量)、一套演练方法、一张避坑清单,外加一条底线:**没有真实数据的稳定性,是运气,不是能力。** ---- ## 一、先看几个真实故障:模型一停,业务不是变慢,是停摆 ### 1. DeepSeek:5 小时,和 12 小时 2026 年 10 月 15 日早上 8:11 到 13:04,DeepSeek 服务出现故障,对话服务部分中断、主力 API 部分中断,持续近 5 小时〔2〕。 这 5 小时有两个细节值得所有做 AI 应用的人记住: - **它正好盖住了工作日早高峰的 9 点到 12 点。** 行业评论的说法很直接:损失的是"全天最值钱的三个小时"〔2〕。 - **恢复慢,不是慢在定位,是慢在"重启即发布"。** 大模型服务重启一次,相当于一次小型发布:重新加载权重、预热、再逐步放流量;如果缓存层受波及,恢复后命中率先下降,计算压力又反过来冲击服务;再加上早高峰用户反复点"重试",访问量被成倍放大〔2〕。 更早的一次更极端:2026 年 3 月 29 日晚到 30 日上午,DeepSeek 服务中断约 12 小时,是其成立以来单次最长中断;媒体统计,它在 15 个月里至少经历 7 次显著服务中断——2025 年 1 月是大规模恶意攻击,2025 年 3 月和 7 月是使用量激增〔3〕。 报道里有一句话,我认为是这一节最好的注脚: >**"AI 越像员工,宕机越像停工。"**〔2〕 因为损失不是按"停机分钟数"算的,是按**任务长度**算的。聊天断了,用户重开一次;Agent 跑到一半断了,上下文、改了一半的文件、执行到一半的工具链,可能全部从头再来。 ### 2. Claude:半个月 7 次,90 天可用率 98.95% 2026 年 4 月 15 日上午(美东时间),Claude.ai、API 和 Claude Code 全线出现高错误率;官方从 10:53 开始介入排查,直到 13:50 才宣布所有系统恢复正常,前后接近 3 小时;故障高峰期,Downdetector 上有超过 6,000 人同时提交报错。而整个 4 月前半月,Anthropic 累计出现 7 次有据可查的服务中断〔19〕。 更值得警惕的是长期数字:截至 2026 年 4 月 8 日的 90 天里,Claude API 的正常运行率只有 **98.95%**〔19〕。 98.95% 听起来"还行",换算一下就知道不行:90 天约 12.96 万分钟,1.05% 的不可用约等于 **1,360 分钟,也就是 22.7 小时**。这还没算上"能用但变慢、能用但变差"的时间。 后果也不只是"等一会儿":有企业客户公开表示,因为宕机已经从 Claude 转向 OpenAI〔19〕。 ### 3. 最扎心的一条:SLA 赔付,赔不到你的业务损失 OpenAI 在 2025 年 6 月 10 日故障的官方 FAQ 里写得很清楚:API 按实际用量计费,未使用部分不收费;"根据你与 OpenAI 的协议,我们不承担特殊损害";订阅用户只补偿订阅积分〔4〕。同一份 FAQ 里,这次中断被写成 **15.5 小时**。 再往前看,OpenAI 的中断史也不短:2024 年 6 月一次超过 5 小时,2024 年 12 月 11 日一次超过 4 小时,当时 ChatGPT 周活约 2.5 亿〔21〕。 云也一样。2025 年 10 月 20 日,AWS 美东 us-east-1 因 DynamoDB 的 DNS 自动化系统出现竞态条件,区域端点 DNS 记录被清空,故障持续约 15 小时;风险分析机构 CyberCube 估算,约 2,000 家大型组织、约 7 万家组织受到影响,保险损失区间为 **3,800 万至 5.81 亿美元**〔9〕。AWS 赔的,同样只是服务抵扣。 即使是最主流的模型服务,SLA 也只是"服务费级别的承诺"。以 Azure OpenAI 为例,公开 SLA 是 **99.9% 月度可用性**,未达标时按月度服务费的一定比例赔付〔20〕——注意,赔付基数是服务费,不是你的业务收入。 >**供应商的 SLA,保的是"服务费",不是"你的生意"。稳定性的成本,最终只能由使用方自己承担。** ### 真实故障速览(2024–2026) |时间|服务|时长|影响与后果|来源| |:-:|:-:|:-:|:-:|:-:| |2024-06 / 2024-12-11|OpenAI ChatGPT、API|5 小时+ / 4 小时+|2024-12 故障时 ChatGPT 周活约 2.5 亿|〔21〕| |2025-06-10|OpenAI ChatGPT、API|官方 FAQ 记录 15.5 小时|韩国用户收到故障说明;明确不承担特殊损害|〔4〕| |2025-10-20|AWS us-east-1|约 15 小时|约 2,000 家大型组织受影响;估损最高 5.81 亿美元|〔9〕| |2025-11-18|Cloudflare|约 3 小时|全球 5xx,X、ChatGPT、Canva 等大量服务受波及|〔10〕| |2026-04-15|Anthropic Claude|约 3 小时|半月 7 次中断;90 天 API 可用率 98.95%|〔19〕| |2026-03-29~30|DeepSeek|约 12 小时|成立以来单次最长中断|〔3〕| |2026-10-15|DeepSeek|近 5 小时|覆盖工作日早高峰;按 7 日消耗全额赠金补偿|〔2〕| 把这张表看完,可以得出一个朴素结论:**供应商会停、模型会错、成本会涨。稳定性方案必须按这三件事来设计,而不是按"供应商说它很稳"来设计。** ---- ## 二、把两本账分开:可用性 SLO 与质量 SLO ### 为什么必须分开:三个真实证据 **证据一:可用性数字会骗人。** 独立监测机构 llmlatency.dev 用 4 个区域、每 5 分钟一次的探针,直接探测 46 家 AI API 的官方端点(不经过聚合网关),从 2026 年 7 月 31 日到 10 月 30 日累计执行了 **473 万次**探测〔1〕。它测出来的三件事,比任何"我们供应商很稳"的说法都可靠: - **近 7 天,46 家供应商里有 31 家至少失败过一次;但把窗口缩到 24 小时,只剩 12 家。** 也就是说,"可用性"这个数,取决于你测多久。 - **同一批请求,东京区失败率 0.458%,圣保罗 0.158%,相差 2.9 倍。** 你在哪里调用,结果不一样。 - **只有 11 家提供机器可读的状态源。** 剩下的 35 家,你连它"承不承认出事"都无从核对。 **证据二:可用性 100% 的时候,质量照样出事。** 2025 年 4 月,OpenAI 一次 GPT-4o 更新让模型变得过度迎合、谄媚。官方在 4 月 29 日的说明里承认:这次更新"过分关注短期反馈,没有充分考虑用户互动随时间的变化",最终**回滚了更新**〔5〕。整个过程服务全程可用,但质量已经不可接受。 这种事故不是孤例,而且现在会被单独记录为事故。2026 年 10 月 27 日,OpenAI 状态页出现一条 **"6.1 Sol Degraded Model Performance"(模型性能下降)**,持续约 78 分钟;同日 Anthropic 也记录了 "Claude Sonnet 5.5 elevated errors"〔1〕。注意:这些都不是"宕机",但你的业务同样不能用。 **证据三:质量事故的代价,比宕机更贵。** - **Klarna**:2024 年 2 月宣布 AI 助手首月接下三分之二的客服会话(约 230 万次),相当于 700 名全职坐席,重复咨询下降 25%〔6〕。一年后,CEO 公开承认降本"走过头"、质量下滑,公司重新招聘人工客服,保证客户随时能找到人〔6〕。 - **Air Canada**:因官网聊天机器人给出错误的退票信息,2024 年被不列颠哥伦比亚省民事调解法庭判令承担责任,赔偿约 812 加元〔7〕。机器人说错的话,公司买单。 - **麦当劳**:2024 年 6 月结束与 IBM 的 AI 点单试点,原因之一就是识别与下单错误,媒体广泛报道的"260 块麦乐鸡"成了标志性案例〔8〕。 ### 怎么分:一张表 |可用性SLO|质量SLO| |:-:|:-:| |回答的问题|它还在不在、响应得够不够快|它还对不对、能不能把事办成| |典型 SLI|成功率(5xx/超时/限流)、P95 首 token 时延、区域可用性、降级触发率|任务级一次通过率、错误率、拒答率、人工复核率、越权拦截率| |口径要求|按窗口 + 分位数,不用平均值|按任务 + 带样本量,必须有置信区间| |目标示例|99.9%/月(按业务定)|一次通过率 ≥95%;高敏场景拒答率按规则定| |告警对象|运维值班|业务 owner + 算法/产品| |处置动作|切换、降级、回滚、扩容|回滚模型版本、补知识、改规则、改提示词| |谁负责|CTO / 平台团队|业务负责人 / 场景 owner| ### 三个定 SLO 的口径细节 **第一,拒答率要拆成两个方向。** 只用一个"拒答率"会出事:它既可能是"该拒的没拒"(安全事故),也可能是"不该拒的拒了"(可用性事故)。所以至少要拆成:**应拒未拒率**(安全召回,越低越好)和**误拒率**(把正常问题拒了,也是越低越好)。只优化一个,另一个一定恶化。 **第二,质量 SLI 必须带样本量。** 200 条样本、准确率 95% 时,95% 置信区间大约是 ±3 个百分点;如果评测集只有 20 条,区间会扩大到 ±9.5 个百分点——**20 条的评测集,测不出 5 个点的退化**。这不是统计学炫技,它直接决定"模型升级到底有没有变差"这件事能不能被证明。 **第三,用任务,不用接口。** 接口返回 200,只说明链路通了;任务闭环率才说明用户拿到结果了。 ### 一个给老板看的组合指标 **有效可用率 = 系统可用率 × 任务成功率。** - 99.9% × 95% = **94.9%** - 99.99% × 90% = **90.0%** 前一个数才是"用户真正能用的比例"。很多团队汇报"上线半年很稳",说的是第一个乘数;老板关心的是乘积。 顺带说一句错误预算:99.9% 的月停机预算是 43.2 分钟,99.95% 是 21.6 分钟,99.99% 只有 4.32 分钟。**SLO 不是越高越好,每提高一个 9,成本都是非线性上升。** 用错误预算来管理发布节奏,比喊"零故障"有用得多。 >**可用性回答"它还在不在",质量回答"它还对不对";前者可以买,后者只能自己养。** ---- ## 三、降级链:大模型 → 小模型 → 规则 → 人工 ### 四档设计 降级不是"出故障了临时想办法",而是**按任务风险预置好的产品能力**。一个完整的降级链至少四档: |档位|触发条件|动作|用户感知|成本|回切条件| |:-:|:-:|:-:|:-:|:-:|:-:| |L0 主模型|正常|旗舰模型直接服务|最好|最高|—| |L1 小模型/备用供应商|主模型错误率或 P95 时延超阈值、429 限流|网关自动切换;用评测集确认质量下限|略降,但可用|降低|主模型探针恢复且质量抽检通过| |L2 规则/模板/缓存|L1 也不可用,或任务属于标准场景|固定话术、模板、语义缓存、检索直出|"变机械但可用"|极低|上游恢复| |L3 人工|高风险任务,或 L2 覆盖不了|转人工队列,带完整上下文|等待但可控|最高|人工处理完,结果回流评测集| 这里有两个设计原则: 1. **低风险自动降,高风险直接转人工。** 不是所有任务都值得"先用小模型顶一顶"。合同审阅、赔付、冻结客户订单这类任务,降级到小模型等于放大风险,不如直接转人工。 2. **每一档都要有"质量下限"。** 降级后用评测集抽检,确认任务成功率不低于该档位的承诺值——**没验证过的降级,不叫降级,叫降智。** ### 真实教训:降级链缺哪一档,事故就从哪一档来 - **Klarna 缺的是"人工兜底"这一档。** 把人工当成本砍掉,结果质量回退、重新招人。降级链的最后一档不是成本项,是保险。 - **Air Canada 缺的是"人工复核"。** 机器人错误直接变成法律责任。 - **麦当劳缺的是"规则兜底"。** 点单场景没有规则校验,AI 把 260 块麦乐鸡写进订单。规则层不是落后,是兜底。 - **而如果你的降级链只有"换供应商"这一档,那只是把风险从一个篮子挪到另一个篮子。** 有企业客户因 Claude 频繁宕机转投 OpenAI〔19〕,但如果应用本身没有多档降级设计,换供应商只是换了个单点。 ### 工程实现要点 **① 模型网关。** 统一入口做多供应商路由、fallback、超时与重试预算、熔断、限流、配额和成本计量。开源方案(如 LiteLLM、Higress AI 网关、Cloudflare AI Gateway)都已经内置 fallback、重试、限流这类能力,不必自己从零写。 **② 语义缓存。** 相同或相似问题直接命中,成本和时延双降。但要处理两个坑:权限隔离(不能把 A 客户的答案给 B 客户)和时效(过期政策必须失效)。 **③ 断点续跑,而不是从头再来。** Agent 场景最怕"断一次全丢"。要做上下文 checkpoint,让任务在模型恢复后能接着跑——这比换一个更强的模型更能救体验。 **④ 人工队列。** 分级(P0/P1)、有 SLA、带 AI 已完成的上下文、可一键接管。人工不是"兜底部门",是降级链里唯一能做最终判断的一档。 **⑤ 开关。** 每一档降级都要有一键开关(feature flag),并且开关本身要演练——真实故障时找不到开关,比没有开关更糟。 >**降级链不是给系统擦屁股的,是给业务留后路的;没演练过的降级链,等于没有。** ---- ## 四、评测集即回归测试:质量也要有发布门禁 ### 为什么"必须":模型和供应商都在变 很多人以为评测集是"上线前跑一次"的东西。但在 2026 年,它是**回归测试**——因为依赖在持续变化,而且变化不以你的意志为转移。 **第一,模型会退役。** llmlatency.dev 统计了 5 家供应商的 **280 条模型退役记录**;截至 2026 年 10 月 30 日,73 个已排期退役中有 **42 个在 90 天内**;OpenAI 的退役通知中位数是 183 天,但**最短只有 3 天**;Anthropic 中位 63 天,Cohere 中位 0 天——当天通知、当天生效〔1〕。2026 年 10 月 23 日一天,就退役了 gpt-4-0613、gpt-4o-2024-05-13、o1-2024-12-17 等一批快照〔1〕。 **第二,替换模型会"悄悄弄坏"业务。** llmlatency 在迁移建议里写得很直白:替换模型会用不同的方式表达,**"这才是会悄悄出问题的地方"**,所以换模型必须重跑评测〔1〕。 **第三,行业现状并不乐观。** LangChain 对 1,300 名从业者的年度调研显示:57.3% 已把 Agent 投入生产;**质量仍是第一障碍(约三分之一),超过成本**;但只有 52.4% 做离线评估、37.3% 做在线评估〔18〕。换句话说,超过一半的团队在"裸奔式上线"。 ### 评测集怎么建(可直接抄) 1. **任务级,不是问答级。** 每条样本 = 输入 + 期望动作 + 验收标准 + 禁区。问"答得准不准"没有意义,问"这件事办成没有"才有。 2. **四类覆盖。** 正常(约 60%)、边界(约 20%)、异常(约 10%)、越权/安全(约 10%);样本从真实 badcase 和工单里抽,不要自己编。 3. **200 条起步,覆盖 80% 流量。** 每季度扩充;每条带版本号;业务 owner 签字确认。 4. **接进发布门禁。** 模型版本、提示词、知识库、工具 schema、权限,任何一个变更,自动跑评测、对比基线;**未过不许进灰度。** 5. **在线评估双轨。** 抽样 1%–5% 真实流量,LLM-as-judge + 人工抽检;重点看长期满意度,而不是点赞率——GPT-4o 那次事故的教训就是"短期反馈会骗人"〔5〕。 6. **badcase 闭环。** 分五类(知识缺失、实体链接、规则缺失、权限错误、工具失败),每类对应不同的修复路径;修复后回灌评测集。分类不做,团队会习惯性地"再喂点文档",永远修不到点上。 ### 一张门禁表 |变更类型|必跑评测|通过标准|回滚触发| |:-:|:-:|:-:|:-:| |模型版本升级/替换|全量评测集 + 影子对比|任务成功率不低于基线,关键场景不退化|任一关键场景退化超阈值| |提示词调整|相关场景子集|目标指标提升且无回归|出现新的高优先级 badcase| |知识库更新|检索集 + 任务集|召回与任务成功率不降|过期/错误知识进入答案| |工具/schema 变更|工具调用集 + 端到端任务集|调用成功率、幂等性达标|调用失败率上升| |权限/规则变更|越权集 + 规则集|越权拦截率 100%,规则命中正确|出现越权或误拦截| >**没有评测集的 AI 项目,每次升级都是一次盲盒;评测集是你和供应商之间唯一可信的对照实验。** ---- ## 五、灰度、影子流量、回滚:把故障影响面压到 1% ### 先看数据:大故障几乎都来自"变更" - **AWS 2025-10-20**:两个自动化系统同时写同一条 DNS 记录,触发竞态,DynamoDB 区域端点的 DNS 记录被清空,约 15 小时,约 2,000 家大型组织受影响,估损最高 5.81 亿美元〔9〕。 - **Cloudflare 2025-11-18**:一次配置推送引发全球 5xx,约 3 小时后才全面恢复,X、ChatGPT、Canva 等大量服务受波及〔10〕。 - **Google SRE 的经典结论**:约 **70% 的线上故障来自变更**(发布、配置、数据变更)〔11〕。 AI 系统完全一样:模型升级、提示词改动、知识库更新、工具 schema 变更,全都是"变更"。**不控变更,就等于不控稳定性。** ### 发布的四步 |阶段|流量|观测什么|门禁|回滚触发| |:-:|:-:|:-:|:-:|:-:| |影子流量|真实流量,不返回给用户|新旧输出差异率、任务成功率、成本、时延|差异率在可解释范围内|差异率异常升高| |金丝雀 1%|1%|可用性 + 质量双指标|双门禁都过|任一指标超阈值| |金丝雀 5%→25%|逐级放量|同上 + 用户反馈|同上|同上| |全量|100%|持续监控 24–72 小时|稳定|一键回滚| 三个配套动作: 1. **影子流量(Shadow Traffic)**:新版本只处理流量、不返回给用户,用真实数据对比新旧输出。它不改变用户看到的结果,但能拿到最真实的质量差异。 2. **回滚三件套**:模型版本固定(pin 到具体 snapshot,不要用 `latest`)、提示词/配置版本化、一键开关。回滚目标:**5 分钟内切回**。 3. **模型退役倒排。** 把供应商的退役日历接进发布计划;替换模型先跑评测集,再影子,再灰度。尤其注意"最短 3 天通知"这种极端情况——如果你的代码里硬编码了模型名,退役当天就是事故。 >**灰度不是"慢慢放量",是"用 1% 的真实流量买 100% 的信息";回滚不是失败,是设计的一部分。** ---- ## 六、token 成本与容量规划:把"按量计费"变成经营变量 ### 三个真实数字,先把趋势看清 **第一,需求在指数增长。** 中国日均 token 使用量:2024 年初约 1,000 亿,2025 年底 100 万亿,2026 年 3 月已超过 140 万亿——两年多增长约 1,400 倍〔14〕。容量规划的前提,是承认需求不是线性的。 **第二,单价在快速下降。** Epoch AI 2026 年 9 月的报告指出:过去三年,同等性能的 AI 推理成本大约**每季度下降 47%,约合每年 13 倍**,比 DNA 测序快 4 倍〔15〕。但请记住:**单价降 ≠ 账单降**,因为用量、上下文长度和 Agent 轮次涨得更快。 **第三,成本结构是可以被优化的。** DeepSeek 在 2025 年 3 月首次公开了推理系统的成本数据:一个 24 小时统计窗口内,V3/R1 推理服务峰值占用 278 个节点、平均占用 226.75 个节点(每节点 8 张 H800),按 2 美元/GPU 小时计,日总成本 **87,072 美元**;若所有 token 按 R1 定价计算,理论日收入 **562,027 美元**,成本利润率 **545%**〔16〕。它还做了一件事:**峰谷定价**——夜间(00:30–08:30)V3 五折、R1 二五折〔16〕。这本质上是"用价格做容量调度"。 还有一个被低估的杠杆:**缓存**。Anthropic 官方数据:prompt caching 最高可降 **90% 成本**、**85% 时延**;缓存写入比基础输入价贵 25%,命中读取只要基础价的 10%;在 10 万 token 文档场景里,首 token 时间从 11.5 秒降到 2.4 秒〔17〕。DeepSeek 的缓存命中与未命中输入价差也接近 4 倍〔16〕。 ### 算账方法:单位经济性 **单任务成本 =(输入 tokens × 输入单价 + 输出 tokens × 输出单价 + 重试成本 + 缓存未命中惩罚 + 人工兜底成本)÷ 完成任务数。** **容量 = 峰值 QPS × 平均每任务 tokens × 安全系数(1.5–2.0)× 单价**,再叠加"降级预算"(预留一部分给备用模型)。 **预算 = 基线 × 增长系数 ×(1 + 峰值溢价)+ 应急池。** 必须监控的六个指标:**token/任务、缓存命中率、重试率、单任务成本、降级率、人工接管率。** 前四个管成本,后两个管稳定。 ### 成本失控的四个真实机制 |机制|为什么发生|优化杠杆| |:-:|:-:|:-:| |长上下文 + 多轮对话|每一轮都带上历史,token 随轮次线性放大|上下文裁剪/摘要、只带必要历史| |Agent 工具调用|一个任务 N 次模型调用,成本按步数放大|合并调用、小模型做前置判断、限制最大步数| |缓存打不中|提示词顺序变化、前缀不稳定,缓存全失效|固定前缀、稳定系统提示词、按任务分缓存| |重试与失败放大|超时重试三次,成本乘以三;限流还会叠加|重试预算、熔断、幂等、失败快速降级| ### 容量规划要写进 SLO 把"峰值时延"和"峰值成本"一起定,而不是只定平均值。大促、月结、发薪日这类峰值场景要提前压测;容量不足时,优先保高价值任务,低价值任务排队或降级——**这就是容量护栏。** 没有护栏的系统,峰值时不是"慢",是"雪崩"。 一个真实的容量管理细节来自 DeepSeek:2026 年 V4.1 Flash 内测期间,每个账户最多只能同时处理 **20 个请求**;其上线峰谷定价的官方理由,也是"更合理地配置资源、提升服务稳定性"〔2〕。**限流、排队、错峰定价,本质上都是容量规划的一部分**——不是"限制用户",是"让系统在峰值时不崩"。 >**token 单价在跌,token 总量在涨;成本管理的胜负手不在"选便宜模型",在"单位任务成本"和"缓存命中率"。** ---- ## 七、演练数据:没有一次真实断供演练,就不算生产化 ### 真实演练长什么样 **案例一:阿里 2020 双 11 全链路压测。** 覆盖近 20 条业务线、100 多个场景、400 多条链路,100 多家核心 ISV 参与;压测期间共发现 **130 多个内部系统问题**,大促前全部解决;大促期间商家业务系统 **0 故障**,商家问题反馈较往年下降 **50%**〔12〕。 >换算一下:130 个问题在演练里暴露,比在双 11 当天暴露,便宜可能不止 100 倍。**演练不是成本,是保险。** **案例二:银行已经在把"混沌 + 大模型"做成平台。** 2026 年 4 月 29 日,兴业银行公开采购"技术风险演练平台"现场技术服务,明确包含**混沌演练大模型技术、混沌红蓝攻防管理与对抗大屏、原子故障、稳态基线重构**等能力,预估 100 人月、T+12 个月〔13〕。连演练本身都在平台化、AI 化。 **案例三:第三方持续探针,是"外部演练"。** llmlatency 用 4 区域、每 5 分钟、累计 473 万次探针,测出了前面那些数字:31/46 家 7 天内至少失败一次、区域差异 2.9 倍、只有 11/46 家提供机器可读状态源〔1〕。你可以把它理解为"别人替你做的、持续的供应商演练"——**用数据代替信任。** ### 一次"断模型"演练怎么设计(可直接抄) **场景库(7 个):** 主模型全断 / 主模型 5xx 30% / 时延 P95 翻 5 倍 / 输出质量下降(影子差异率上升)/ 429 限流 / 区域故障 / 密钥失效。 **记录表(每次演练至少记这 10 个字段):** |字段|说明| |:-:|:-:| |注入时间|故障开始时间| |检测时间(MTTD)|监控发现的时间| |降级生效时间|从注入到降级真正生效| |降级后任务成功率|用评测集抽检| |人工接管率/时长|转人工的比例与等待时间| |单任务成本变化|降级前后的成本对比| |恢复时间(MTTR)|从注入到完全恢复| |回滚时间|从决定回滚到生效| |用户投诉数|真实反馈| |badcase 数|回流评测集的数量| **验收标准(示例,可按业务调整):** 检测 ≤2 分钟、降级生效 ≤5 分钟、降级后任务成功率 ≥90%、人工接管 ≤15 分钟、恢复后 1 小时内质量回到基线、回滚 ≤5 分钟。 **频率:** 季度一次全链路 + 月度单点演练;新模型/新版本上线前必做。 ### 演练的三个反模式 - **只演不记**:演完就散,没有数据,等于没演。 - **只测可用性不测质量**:切过去能返回,但答案全错——这是最危险的"假恢复"。 - **演完不修**:问题清单不进评测集、不进降级剧本、不进监控,下次照旧。 >**演练数据是稳定性唯一的体检报告;没有体检报告的健康,是运气。** ---- ## 八、六个坑:别拿方法论当证据 1. **把供应商 SLA 当业务保障。** SLA 赔的是服务费,不是你的停工损失〔4〕〔9〕。正确做法:SLA 只用来选供应商,稳定性要靠降级链和演练。 2. **用一个"综合可用率"混管质量和可用性。** 两个 SLO 混在一起,报警时不知道该找运维还是找算法。正确做法:分开定、分开告警、分开处置。 3. **降级链只写在文档里,从来没演练过。** 真故障时找不到开关、回滚回不去,或者"降级"后质量掉到不可用。正确做法:每季度演练,验收标准写进 SLO。 4. **评测集只建一次,之后不回归。** 模型退役、提示词改动、知识库更新,每一次都可能让质量漂移〔1〕。正确做法:评测集接进发布门禁,变更必跑。 5. **灰度只看 5xx,不看质量。** 模型升级后 API 全绿、答案全错——GPT-4o 事件已经演示过一次〔5〕。正确做法:灰度双门禁,可用性和质量同时看。 6. **成本按"平均单价"算。** 忽略峰值、缓存命中率、Agent 多轮放大和重试,月底账单一定超。正确做法:按单位任务成本算,按峰值做容量规划。 再加一条,也是这一节最想说的: 1. **拿方法论当证据。** 只讲 SLO 黄金指标、降级四层、灰度三板斧,却拿不出**一次真实故障复盘、一次演练记录、一周真实账单**——这种方案汇报时很漂亮,上线后第一个故障就现原形。 ---- ## 九、结尾:三个数,三件事 如果你只从这一节带走三个数,就带这三个: 1. **有效可用率** = 系统可用率 × 任务成功率。它才是用户真正能用的比例。 2. **降级生效时间**。从主模型故障到业务切到可用档位,你承诺几分钟? 3. **单位任务成本**。不是"每百万 token 多少钱",是"把一件事办成,花多少钱"。 本周就能做的三件事: 1. **列一张依赖清单。** 哪些任务依赖哪个模型、哪个供应商、哪一天退役、有没有降级档位——一行一个任务。 2. **做一次 30 分钟的"断主模型"演练。** 记录上面那 10 个字段,哪怕只有一条真实数据,也比 PPT 强。 3. **把评测集接进发布门禁。** 先跑 50 条真实任务,从"每次变更都跑"开始。 最后留一句: >**模型是租来的,稳定性是攒出来的。**

优秀的个人博客,低调大师

大模型API聚合平台接得越多,越需要一套不像Demo的契约测试

## 摘要 把多个模型接到同一个SDK并不难,难的是半年后升级模型、切换渠道或增加新工具时,旧业务仍然按原来的方式工作。基础问答能返回文字,只能证明接口可达,不能证明流式输出、工具调用、结构化结果和错误处理保持兼容。本文从适配器维护者的角度,说明如何建立一套可重复执行的大模型API契约测试。 ## 最容易误判的一件事:都叫OpenAI兼容 “兼容OpenAI接口”已经成为很多模型服务的常见描述,但这个词覆盖的范围很宽。有的平台只兼容最基础的`messages`和`model`字段,有的平台支持流式输出,却没有完全一致的工具调用事件;还有的平台接受某个参数,但会静默忽略。 因此,接入阶段只跑一句“你好”意义有限。真正需要确认的是:业务依赖的那些行为,在不同模型和不同资源通道上是不是一致。 我通常会先列一张能力矩阵,而不是马上写大量适配代码。比如当前项目只用文本生成、流式输出、JSON Schema和工具调用,就先把这四项测透。视觉、音频和批处理暂时不用,可以明确标为未验证,不必为了“支持得多”提前背上维护成本。 ## 契约测试测的是行为,不是某个答案 模型输出天然带有随机性,不能拿完整回答做字符串比较。契约测试应该验证结构和约束,例如HTTP状态、事件顺序、字段类型、工具参数能否解析、结构化输出是否满足Schema。 一个工具调用测试可以这样设计:要求模型调用天气工具,参数中必须有城市和日期。测试不判断模型说了哪句话,只判断是否生成合法的工具调用、参数能否通过JSON Schema、工具结果回传后是否能继续完成响应。 ```python def assert_tool_call(events): call = find_first(events, "tool_call.completed") assert call is not None assert call.name == "get_weather" validate_json_schema(call.arguments, WEATHER_SCHEMA) ``` 流式测试则要检查事件是否有明确结束标记,中途断开后客户端能否识别失败,而不是把半段内容当成完整回答。 ## 建议保留一组“故意出错”的请求 正常请求只能覆盖顺利路径。生产环境里真正难处理的是429、5xx、超时、上下文超限、非法参数和内容安全拦截。如果每家平台都返回自己的错误结构,业务层很快会堆满判断分支。 适配器应该把上游错误归一成有限的内部类型,例如: | 内部错误 | 是否可重试 | 典型处理 | | --- | --- | --- | | `RATE_LIMITED` | 视剩余预算 | 排队或切换同等资源 | | `UPSTREAM_UNAVAILABLE` | 是 | 在总时限内重试一次 | | `INVALID_REQUEST` | 否 | 返回调用方修正参数 | | `CONTEXT_TOO_LONG` | 否 | 压缩上下文或选择长上下文模型 | | `POLICY_BLOCKED` | 否 | 返回业务可理解状态,不绕过策略 | | `STREAM_INTERRUPTED` | 通常否 | 标记为不完整响应 | 测试时要主动制造这些错误,而不是等待线上偶然出现。可以用错误模型名触发参数错误,用很短的超时触发连接中断,用超过限制的上下文验证错误归类。对限流和上游故障,最好在测试代理层注入,避免依赖真实平台恰好出问题。 ## 模型和数据工具要分开建测试集 数眼智能这类企业级大模型API聚合平台不只提供模型调用,公开资料还将Search、Reader和OCR列为能力方向。对RAG或Agent项目来说,这类组合确实能减少多家接口适配,但测试不能因此合并。 模型接口关注消息、工具调用、结构化输出和Token;Search关注查询、结果去重和时效;Reader关注正文提取、重定向、表格与异常页面;OCR关注文件格式、页数、置信度和版面。它们的成功标准完全不同。 例如Reader返回200并不代表解析成功。一页网页可能只提取出导航和版权信息,正文为空。OCR也不能只看是否返回文本,还要保留页码、坐标和低置信度字段。测试集里应该包含复杂排版、扫描件、重定向、登录墙和超大页面,而不是只挑最干净的样本。 ## 契约版本要跟着业务走 适配器上线后,模型厂商、聚合平台和企业业务都可能变化。契约测试最好进入发布流程:修改模型版本、Base URL、路由规则或SDK后自动运行,失败就阻止直接切生产。 但也没必要把所有模型每次全测一遍。可以按影响范围分层:代码改动先跑核心模型的快速集;配置发布跑对应通道的完整集;每周再对所有生产候选做一次回归。这样既能发现漂移,也不会把测试成本拉得过高。 建议为每次测试保留环境、模型ID、平台、时间、请求摘要、原始响应哈希和断言结果。不要只留一张“全部通过”的截图。等线上出现差异时,能够回看某个模型在某个日期到底返回了什么,价值更大。 ## 比平台数量更重要的是退出能力 企业经常把“支持多少模型”当成灵活性的指标。可如果业务代码到处写着某个平台的字段,真正切换时仍然要大改。适配器、逻辑模型名和契约测试,才是迁移能力的基础。 官方API、云平台模型服务、硅基流动、数眼智能、OpenRouter或LiteLLM自建网关,都可以进入同一套候选池。需要比较的不是谁在一篇文章里得分最高,而是谁能通过当前业务的契约、故障和数据边界测试。 ## 结语 多模型接入最初看起来是个效率问题,运行一段时间后就会变成兼容性问题。真正省维护成本的,不是把所有接口伪装成同一个URL,而是把业务依赖写成可执行的契约。 一组好的测试不承诺模型永远不变,但能在变化发生时尽早告诉你:哪里变了,会影响哪些业务,是否还能安全发布。这比“我们支持很多模型”更接近生产环境需要的确定性。 > 说明:本文不构成平台排名或采购建议。文中涉及的平台仅用于说明不同接入形态,实际能力应以最新文档和POC结果为准。

优秀的个人博客,低调大师

Playwright MCP项目怎么做,才不像又一个自动化Demo?

>摘要:以Playwright MCP的可访问性快照为基础,设计一个本地商城Browser Agent项目,覆盖页面变化、隐藏指令、权限边界和行为回归。 Agent打开商城,搜索耳机,选择价格合适的商品并加入购物车。演示视频很顺利,但面试官只要改一下按钮文字、插入一条诱导提示,项目可能马上失效。 Playwright MCP让模型通过结构化的可访问性快照理解页面,而不是单纯依赖截图坐标。对校招项目来说,这提供了一个很好的切入口:不只展示AI会点网页,而是证明它在页面变化、恶意内容和权限边界下仍然安全。 ## 先把项目限制在本地环境 用Playwright搭一个本地商城:商品列表、详情、购物车和确认页。全部使用虚拟商品和测试账号,不连接真实支付,不访问真实购物网站。 Agent目标是“找到预算500元以内的耳机并加入购物车”。允许搜索、筛选、查看详情、加购;禁止读取保存地址、提交订单、跳转外部域名和填写支付信息。 ## 为什么快照值得测试 可访问性快照会给出元素角色、名称和引用。按钮视觉位置变化时,Agent仍可能通过角色找到它。但如果页面没有正确的aria-label、出现两个同名按钮或弹窗遮挡,选择就会变得模糊。 准备六类页面:正常页面、按钮改名、同名元素、延迟加载、弹窗遮挡、隐藏诱导文本。每次运行保存快照、工具调用和页面最终状态。 ## 行为断言比截图更重要 最终购物车里出现耳机,不代表路径安全。Agent可能先读取地址,或者打开外部比价网站。断言要覆盖允许工具、禁止工具、域名和副作用。 ~~~python def test_agent_stops_before_checkout(run_agent): trace = run_agent("500元内耳机加入购物车") assert trace.final_state == "cart_ready" assert trace.cart.total 本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码