首页 文章 精选 留言 我的

精选列表

搜索[AI意图识别],共10000篇文章
优秀的个人博客,低调大师

6 份企业文档交给 AI 审计,连无文字流程图都被拿捏了!

先把几个硬数字放前面,没时间的朋友看完这段就可以走了。这次扛大梁的模型是 Seed-2.1-pro-0915,我冲的就是它的视觉理解和 Agent 工具调用,这场文档审计正好两样都用上了。6 份真实格式的企业文档丢进去,出来 13 条确认过的问题,10 条高风险 3 条中风险,51 条证据每一条都能点回原文找到出处。评测里 49 个考察点命中 46 个,误报 0。模型返回的原始内容全部留档,一个字没动过。 # 模型到底能不能干审计的活 事情是这样的。 前阵子我在琢磨一件特别具体的事。企业里每年不知道有多少合同、报价单、付款申请要人工过一遍,审的人得把每一笔金额、每一个日期、每一条审批链在脑子里对齐,跨文档对不上就是风险。这活又烦又重要,烦在琐碎,重要在漏了是真赔钱。 我就想,这事儿现在的模型到底能不能干。 不是能写两句总结的那种能干,是真能像审计一样,读文档、查规则、给结论,而且每个结论都能把原文指给你看的那种能干。想验证就别纸上谈兵,我把火山方舟上的 Seed-2.1-pro-0915 接成了这套系统的审计大脑,系统取名 Enterprise Document Audit,然后把 6 份真实格式的采购语料丢了进去。带文字层的 PDF 合同、XLSX 报价单、PDF 付款申请单、PDF 采购制度,还故意塞了一张没有文字层的 PNG 审批流程图。 为什么说故意,一会儿讲到那张图你就明白了。 整个系统怎么转的,我先画了张全景图放这,后面每一节都能对上号。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/fbd4a3050120bfddfbdc7229f90bd8c8.png) # 先看结果,13 个问题全都能回原文 13 条问题,全部 CONFIRMED,10 条高风险 3 条中风险。有跨文档金额对不上的,有合同还没签钱先付了的,有货都交付了审批还没走完的。每一条都挂着对应的制度条款,比如 PROC-2.3,未经批准不得采购。 下面这张是 Findings 页的实拍。不是我挑的好看部分,它就长这样。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/e7bbd5a24b687e18bcc62d0220fffb2d.png) 证据这块是我较真到底的部分。我给系统立了个规矩,每一条结论必须挂证据,每一条证据必须带原文引文和定位,而且文本类的引文会被代码拿回原文里逐字比对,对不上就不给过。 Evidence 页长这样,51 条证据按问题归组。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/332290651fb1cd4553dcab0eb67ded40.png) 给你看条具体的。编号 EV-001 这条证据,定位在报价明细表的 H12 单元格,引文是 994400.0,回查状态是逐字命中。 什么概念呢,就是这个数字确实一个字符不差地躺在那张表的那个格子里。不是模型转述的,不是它理解出来的,是它真在那。你点开证据,再点开定位,原文就在那等着你。审计这个东西,说服力就藏在这种地方。 单条问题的详情页长这样,规则依据、证据链、整改建议全摊在一张页面里。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/6e67c1973fa24e0ebd1499687fd48dfb.png) 那 51 条证据里,有 35 条是文本类逐字命中的,还有 16 条指向图片,主要就是那张没有文字的流程图。这两类的确信度天然不一样,一个能逐字对,一个只能看图说话,所以系统分成两档标,没有混在一起糊弄。 # 一张没有文字的流程图,它真看懂了 对,那张流程图,6 份语料里我特意留的一道坎。 05_审批流程.png,PNG 格式,图里没有任何文字层。文本解析器跑到它面前只能交白卷,想读出里面的审批链,只能靠视觉模型去看图。 Seed-2.1-pro-0915 这次调用全程留痕,耗时 85.1 秒,输入 2662 个 token,输出 4877 个,其中 2509 个是思考 token。响应里的服务版本号是 doubao-seed-2-1-pro-260915,对应活动口径的 Seed-2.1-pro-0915。它从图里读出了 4 个文本块和 25 组键值对,审批链上的关键节点和流转方向都拿到了。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/4c0adf250c5196e9e2766f20dc778c3c.png) 一个连字都没有的图,它真的看懂了。我当时盯着这份响应看了挺久。 # 它是怎么转的,模型不碰原始字节 有个设计我想单独拎出来讲,模型从头到尾不碰文档的原始字节。PDF 是代码按页拆的,XLSX 是代码按单元格展开的,模型拿到的是拆好、带坐标的结构化材料。它负责理解,不负责转录。这一刀切下去,后面所有的数字才都有据可查。 Workspace 页能看到 6 份文档的解析清单,哪份走文本通道,哪份走视觉通道,都在明面上。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/d31c5fad2dd1b82a00acd2d46789c61a.png) 模型也不是拿到文档就开写。它跑在一条 9 个状态的状态机上,从分析任务开始,规划、读文档、抽证据、评规则、查策略,一路到评发现、收尾。这条链我也画了出来。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/e1c42049dbe1909460b2ceb106cae872.png) 这次真实运行一共发生了 56 次工具调用,Timeline 页把 273 条事件按顺序全铺开了,哪一步调了哪个工具、传了什么参数、返回了什么,全能查。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/d459bc2e94e78c973be1771a411a17db.png) 状态机里那个重规划,我想单独说一下。它不是摆设,这次运行它真的被触发了。检查失败或者证据不够的时候,模型必须读着错误信息重新规划,不许假装拿到结果。你想想看,一个人干活出了错是圆过去还是回头重来,这个区别太大了。 # 较真的地方,分母里装的是什么 前面说每条结论必须挂证据,落到工程上是一套分流机制,我也画了图。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/1ba617bbb44d44795b17d83d2a0761ab.png) 文本类的证据要过逐字回查,原文里找得到这句话才算命中。图片类的单独记档。还有一类特殊的,比如「文档里没有约定违约条款」这种缺失主张,压根没法回查,也得单独记。为什么要费这个劲分档,下面这个故事就是原因。 评测的时候,证据准确率头一版算出来是 0.4828。 我盯着这个数字愣了半天。一半都错了,模型在瞎编? 排查了一圈发现,是我冤枉它了。有 13 条证据压根没法验证,5 条缺失主张,8 条图像证据,初版的算法把它们全塞进了失败的分母里。把没法验证的请出分母之后,命中的一条没变,分数是 0.875。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/57ee856d3726c9cfb6899a9057a9e51e.png) 这件事给我的触动比 0.875 本身大。 评一个模型的指标,分子人人都会看,分母才是藏猫腻的地方。把不该进分母的东西悄悄塞进去,一个好好的模型就被评成了半吊子。反过来想,你要想让一个产品显得差,根本不用造假,把口径混一混就够了。所以现在我看到任何准确率,都习惯先问一句,分母里装的是什么。 # 报告不经模型,一个字都不经过 报告这块,我的立场相当偏执。 审计报告要是让模型自由发挥,它一定写得比你想象中流畅。但金额、日期、页码这种东西,流畅和正确是两回事。所以我做了个近乎偏执的决定,报告装配器是运行产物的纯函数,模型的选项是零。12 个章节全部由代码从运行产物里现算,执行摘要、审计范围、发现、证据、整改建议、复验结果,一个字都不经过模型。 出来的是一份 20 页的 PDF,中文字体真文本渲染,不是截图贴图。同一份数据同时出 Markdown、DOCX 和 JSON,四种格式一个字都不差。固定输入跑两遍,输出逐字节相同。审计报告要是连自己都没法复现,那审个什么劲呢。 还有件事我决定如实写出来,虽然它不那么体面。 这次运行的 26 项检查里,有 11 项没判定,端到端状态挂的是 FAILED。 不是全绿。 我没让它硬凑成绿的。取不到证据的检查就挂着,没验证过的结论就标着,页面上明明白白写着完成清单未全绿。我的想法很简单,一个审计工具如果连「我没查出来」都说不出口,它说「没问题」你敢信吗。 敢把 FAILED 挂在脸上,恰恰是我觉得这套系统真正像审计的地方。 # 踩过的坑,都是真金白银 推理模型在多模态大输入上真的很慢。6 份文档完整跑一轮,180 秒的默认超时根本不够,任务直接被误判成失败,把超时改成 900 秒才踏实。对这个模型来说,慢不是故障,是它的工作方式。 还有个经典悲剧。改完代码重新构建,页面行为死活不变,排查半天,是一个残留的旧服务还霸占着 3000 端口,新的根本没接到请求。从此我养成一个习惯,行为诡异先查端口被谁听着。 戏剧性拉满的是截图那天。为了给这篇文章配真实截图,我必须用生产模式起服务,结果当场抓出一个开发模式下完全看不见的 bug,表格组件非法嵌套,生产模式必现报错。你说巧不巧,截图这个动作本身救了一次场。 # 读查证改验,五个字的闭环 对了,三次真实运行的完整记录都在一个列表里,哪次跑了什么、出了什么结论,点进去都在。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/76dd630ec9d7d08f93d0a11686f69481.png) 整个系统拆开其实就五个字,读、查、证、改、验。我也把它画成了图。 ![](https://developer.qcloudimg.com/http-save/audit-11941136/ae810ed95e8728e2e8fc7dfea99cf228.png) # 这趟跑完,我的判断标准变了 做完这个项目,我对「模型能不能干活」的判断标准变了一点。 难的从来不是读懂合同,是在该认输的地方认输。图像读不透就如实分档,证据取不到就不硬凑,没验证过就拒收,11 项没判定就挂着 FAILED。Seed-2.1-pro-0915 在这套约束里的表现让我挺意外,工具失败了它会回头重规划,而不是编个结果糊弄过去,没有证据的时候它给不出结论,也不硬给。 但让这些约束真正生效的,不是模型自觉,是工程。一个不经模型的报告装配器,一套五档的证据分流,一条没重新读过原文就拒收 PASS 的硬规则。模型负责理解,代码负责验证,两边谁也别越界。 开头说那张没有文字的流程图是我特意留的坎。写到这你会发现,真正的坎不在那张图上。 图上的坎考验模型,图外的坎考验做系统的人。 磨平一些信息差,共勉。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册