首页 文章 精选 留言 我的

精选列表

搜索[Agent Runtime],共10000篇文章
优秀的个人博客,低调大师

AI客服Agent的关键能力不是答对,是知道什么时候不该答

一位客服主管的描述很有代表性:AI客服上线三个月,后台显示问题解决率85%,用户满意度4.5分,人工转接率降到了15%。但她的实际感受是——投诉变多了,而且转到人工的客户,一上来就带着火气。 这两件事都是真的。它们之所以能同时成立,是因为那个85%里,混进了两类完全不同的"已解决"。 **第一类是真解决**:用户问"退款多久到账",AI答"原路退回,一般1—3个工作日",用户说"好的",会话结束。这是有效解决。 **第二类是假解决**:用户问"我的订单为什么还没发货",AI答了一个通用的发货时效说明,但没去查这个订单的实际状态(其实该订单缺货已挂起)。用户觉得"问过了,说是正常时效",于是不再追问,会话结束。系统在统计上把它记为一次成功解决。 三天后,这个用户带着"你们客服骗我"的情绪回来了。而此时,工单系统里已经多了一个愤怒的客户,且这个愤怒的归因是"客服不专业",而不是"AI答错了"。 **这就是"错误解决率":AI给出了错误、不完整或不适用的答案,用户信以为真并离开,问题在后续环节爆发。** 它在报表上表现为成功,在业务上表现为延迟的失败。 ### **为什么它比答错率更危险** 答错率高的AI客服,问题反而容易被发现。用户会说"你说的不对",然后转人工,问题当场暴露,团队有动力去修。 ![](https://developer.qcloudimg.com/http-save/audit-5746064/262201669825e2584fb97e2d75c85e27.jpg) 错误解决率高的AI客服,问题被隐藏了: **其一,它延迟爆发。** 从AI给出错误答案,到问题真正显现,中间可能隔着几天甚至一个完整的业务周期。等暴露时,已经积累了一批同样问题的客户。 **其二,它无法归因。** 用户第二次来的时候,通常不会说"三天前AI告诉我X",而是直接表达不满。客服接手时看不到前因,只会觉得"这客户怎么这么大火气"。于是错误数据回流不到优化环节,AI会继续用同样的答案坑下一个人。 **其三,它伤害的是信任而非成本。** 答错会浪费一次交互,但错误解决会让客户带着被欺骗感离开。而信任的损失,在财务上几乎无法计量,只会在复购率和口碑上慢慢体现。 **其四,它让所有正向指标失真。** 当"已解决"里混入了大量假解决,解决率、满意度这些指标就失去了指导意义——你无法再根据它们判断系统是不是在变好。这比指标难看更麻烦,因为它让你失去了改进的坐标系。 关于"客户期望在提高"这一点,有可查证的行业数据:Gartner在2024年7—8月对187位服务与支持负责人做的调研中,84%的受访者认同"客户现在对服务的期望比过去更高"。同一机构的预测还包括:到2027年,40%的客户服务问题将由ChatGPT、Google AI Overviews这类第三方非官方GenAI工具完全解决;到2028年,欧盟可能通过消费者保护法规要求企业提供"与人工沟通的权利"。这些公开预测指向同一个方向:**客户对服务的容忍度在下降,而对"被敷衍"的识别能力在上升。** 在这个背景下,错误解决率的危害会被放大。 ### **四环失败,各有各的样子** 要降低错误解决率,得先知道错误出在哪一环。一次AI客服回答,通常包含四个环节,每一环的失败模式都不同: ![](https://developer.qcloudimg.com/http-save/audit-5746064/758ff028998636c31df196cd7c6d97d6.jpg) **第一环:意图识别。** 用户输入的往往很短、很口语,还带着错别字。比如"还没到"(实际意思是查物流)、"那个能退吗"(指代不明)、"你们太差了"(情绪表达而非问题)。 这一环的失败是**识别成另一个意图**,后续全错。而它最隐蔽的一点是:多轮对话中的指代消解——"那这个呢""上面那个能改吗",如果不做补全,第二轮的检索基本是盲的。 **第二环:知识检索。** 这一环决定了答案质量的上限——如果检索到的片段里根本没有答案,再强的模型也只能靠猜。 常见失败包括:专有名词、型号、编号这类精确信息,纯向量检索反而匹配不准(语义相近的一大堆,精确匹配的那条沉底);表格和价格清单被切碎后,表头和数值分家,导致数值错误;以及多个文档存在版本冲突时,检索到了旧的那个。 业界通行的改善手段是混合检索(向量检索与关键词检索并行、结果融合后再做重排)和针对结构化内容做特殊处理。**这些属于通用工程实践,效果因数据而异,需要在自己的评测集上验证。** **第三环:答案生成。** 检索到了正确内容,模型仍可能:忽略其中某个限定条件("仅限华东地区")、把两个不同产品的政策混在一起、或者用过于确定的语气表达一个本来有条件限制的规则。 Salesforce在自家内部使用Agentforce的第一年复盘中披露过一个具体案例:它的客服智能体曾从一个已经从网站导航中移除的旧页面抓取了过时信息,生成了一个与现行帮助文档相矛盾的答案,而且没有提示用户它不确定。这个例子说明,**即使是做这套系统的公司自己,也会踩"检索到过期知识并自信输出"这个坑**。 **第四环:动作执行。** 当AI不只是回答,还要查订单、发起退款、修改地址时,进入第四环。这里的失败包括:身份核验不严导致查错人、接口返回异常时没有正确处理(比如把"查询失败"当成"没有该订单")、以及重复执行(超时重试导致退了两次款)。 这一环的错误通常直接造成金钱损失,是最需要在权限和幂等上做设计的部分。 ### **核心设计:什么时候不该答** 既然错误解决率如此危险,设计原则就应该围绕它来定。最关键的判断是一个**成本不对称**的问题: ![](https://developer.qcloudimg.com/http-save/audit-5746064/91e419b9d54368b82a96eefa1d7fef0a.jpg) · 转人工的成本:一次人工会话的边际成本,假设是几元到几十元,且是**即时、可见、可计量**的。 · 答错并被信以为真的成本:一次延迟的失败,可能包含一个流失的客户、一条负面评价、以及后续更高成本的人工补救,且是**延迟、隐蔽、难以计量**的。 在大多数业务里,后者的期望成本高于前者。所以设计原则应该是:**在不确定时,倾向于转人工,而不是倾向于回答。** 具体可以落成几条可配置的规则: **置信度门槛。** 检索到的内容与问题的匹配程度低于某个阈值时,不直接回答,改为追问澄清或转人工。这个阈值需要用自己的数据调,不能拍脑袋。 **高风险意图白名单。** 把涉及钱、合同、承诺、投诉、法律问题的意图单独列出来,这些意图一律不自动回答,或者只回答"可确认的事实部分"(如"您的订单状态是X"),不做任何判断或承诺。 **必须查系统的,不允许只答通用规则。** 这一条很关键:如果用户的答案依赖他自己的订单状态、账户余额、会员等级,那AI**必须**去查,查不到就转人工,**不允许**用通用规则搪塞。前面那个"发货时效"的例子,正是违反了这一条。 **兜底话术要诚实。** "这个问题我需要帮你转人工确认"远比一个听起来合理但可能错的答案更有价值。而且从长期看,诚实的兜底不会损害信任,错误的自信会。 ![](https://developer.qcloudimg.com/http-save/audit-5746064/1ac6ae69c337613300bf49182da7e82d.jpg) ### **可控上线的四个阶段** 有了设计原则,上线的节奏就清楚了: **阶段一:影子模式。** AI在后台同步运行,看真实用户的问题和人工坐席的回答,自己不对外输出。这个阶段的目标是两件事:收集真实问题分布,以及对比AI答案与人工答案的差距。它花的时间不多,但能避免"上线即翻车"。 **阶段二:只读建议。** AI不直接面对客户,而是给人工坐席提供答案建议,坐席可以采纳、修改或忽略。**采纳率是这一阶段最有价值的指标**——采纳率低,说明AI的答案不实用,此时还不必让客户承担风险。 **阶段三:直接回答,但只做只读动作。** AI开始直接面对客户,可以查询订单、物流、余额,但不能执行任何写入操作(不退款、不改地址、不改订单)。这一阶段重点观察错误解决率。 **阶段四:有限动作。** 开放低风险、可撤销的写入动作,比如修改收货地址(有明确确认步骤)、创建售后工单。高风险动作(退款、改价、取消订单)建议长期保留人工确认,除非有充分的数据证明AI在这类操作上的准确率足够高。 每个阶段之间应该设明确的通过条件,而不是按时间推进。比如阶段三到阶段四的条件可以是:连续若干周内,人工复核抽样的错误解决率低于某个阈值,且未发生重大客诉。 ![](https://developer.qcloudimg.com/http-save/audit-5746064/ca140b5416fd0ff94daafa38a5b5b308.jpg) ### **怎么把错误解决率测出来** 它不会被自动统计,但可以用几种方式近似估计: **方法一:延迟回访抽样。** 对标记为"AI已解决"的会话,随机抽取一部分,隔一两天后回访确认问题是否真的解决。这是最直接的方式,成本也最高,适合小规模高频执行。 **方法二:重复提问检测。** 统计同一用户在短时间内(比如72小时)就同一主题再次发起咨询的比例。这个比例升高,通常意味着前一次并未真正解决。这个方法可以自动化,适合作为日常监控指标。 **方法三:人工复核抽样。** 每天从"AI已解决"的会话中随机抽取固定比例(比如5%),由业务人员判定答案是否准确、是否完整、是否存在误导。**判定标准要预先写明**,否则不同复核人的尺度会差很多。 **方法四:转人工时的情绪与归因分析。** 记录用户转人工时是否表达了不满、不满的原因是否指向上一次AI回答。这需要在工单系统里加一个简单的归因字段,成本很低但信息量大。 这几个方法各有成本,选一个能坚持做下去的即可。关键不是精确,而是**让这个指标存在**——只要它出现在报表里,团队的优化方向就会被它牵引。 ### **边界:什么情况下别指望AI客服解决** **如果你的业务问题高度个案化、每个都需要人工判断(比如复杂的纠纷处理、定制化报价),AI客服的价值主要是分流,不是解决。** 这种情况下正确的目标是"让简单问题不占人工",而不是追求高解决率。 **如果你的知识本身经常变(价格、活动规则、库存状态),先解决知识的更新机制,再谈AI。** 一个基于三天前知识的AI,比没有AI更危险。 **如果你没有足够的人工坐席承接转人工,不要急着上线AI。** AI把简单问题过滤掉之后,剩下的是更难、更情绪化的问题,需要的是**更强的**人工能力,不是更少的。裁掉人工坐席同时上线AI客服,是最常见的组合错误。 编辑:lynhgworld

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码