AI质量专项报告自动分析生成｜得物技术
一、背景
在日常工作中，常需要通过各项数据指标，确保驱动版本项目进展正常推进，并通过各种形式报表数据，日常总结日报、周会进展、季度进行总结输出归因，分析数据变化原因，做出对应决策变化，优化运营方式，目前在梳理整理校准分析数据需要大量的时间投入、结合整体目标及当前进展，分析问题优化的后续规划。
常见形式
人工收集
数据来源依赖于各系统平台页面，通过人工收集校准后填写再通过表格公式计算，或者可以通过多维表格工作流触发通知等功能。
quickbi报表
通过ODPS搭建自定义报表，实现快速收集数据，复制报表到飞书文档内进行异动分析。
平台能力开发
通过代码开发文档导出能力，根据固定模板生成数据分析，该能力开发人力成本较高，需要针对不同平台数据源定制化开发。
AI Studio智能体平台
研发效能团队基于开源Dify项目社区部署，可以根据需求自定义sop，多模型的可选项，选择最适合业务的模型。每个工作流节点可自定义流程的判断分析，轻松上线可投产的AI Agents。
Dify是一个支持工作流编排的AI智能体平台，轻松构建并部署生产级 AI 应用。其核心功能包含：
- 以工作流的方式编排AI应用，在工作流中可以添加LLM、知识库、Agent工具、MCP服务等节点，工作流支持分支流转、节点循环、自定义节点等高级能力项。
- 支持在工作流中调用公司内部的Dubbo/gRPC服务。（插件实现）
- 知识库管理，通过构建私有知识库以增强 LLM 的上下文。
- 与内部平台集成，支持H5页面嵌入、API的方式与内部平台集成。
- 主流模型集成，支持使用多种主流模型如DeepSeek、OpenAI等，支持多模态模型。
对标的业界产品有：
- 扣子：https://www.coze.cn
- FastGPT：https://tryfastgpt.ai
- n8n：https://n8n.io
✅ 多模型选择（适配不同业务场景）
✅ 可视化工作流搭建（支持自定义SOP）
✅ 全链路可观测性（实时调试优化）
综上本期实践利用AI工作流平台针对报告进行生成分析输出，让使用方回归到聚焦数据归因分析上，减少数据收集分析、文档编写成本。
二、应用实践
实践效果
整体分析数据从哪来->需要输出什么样的格式->优化模型输出结果，三步骤针对输出结果进行调优。
自动化成熟度分析工作流搭建案例
运用效果
※ 报告效果
※ 飞书机器人通知归因分析
数据处理
LLM：通过用户输入分析获取数据源请求格式，配置好对应数据的映射关系模型自行获取对应数据。
提示词输入
格式化输出配置
http请求：通过用户输入分析后的参数构造请求参数，通过固定接口拉取数据，支持curl导入功能。 
代码执行：支持python、js代码对结果数据进行处理过滤，提升分析结果准确性。
模型提示词
如文档整体分为不同模块可设定不同模型节点处理，每个模块增加特定提示词处理节点内容，模型并行分析处理，提升输出稳定性和输出效率，再通过LLM输出整合进行整体输出。
在模型输入上下文及用户输入，通过获取的数据指定输出格式，设定提示词，提供AI结合模板输出对应形式。
通过衔接上下节点返回内容最终整合报表输出结果，统一输出样式格式。
优化输出
切换可用模型
遇到模型输出不稳定或者未达到预期效果，可切换可用模型，寻找适配模型。
设定模型预载参数
设定模型预载参数，提升模型输出准确度。
优化增加提示词
优化增加提示词提升输出形式稳定性：角色定义 -> 字段映射 -> 模板说明 -> 实际数据填充 -> 输出格式定义。
`## 角色定义 你是一位接口自动化测试专家以及报告生成专家，负责将接口返回的数据映射字段结合模板输出一份有效的自动化成熟度报告-稳定性部分。
接口返回数据字段映射关系：
基础字段： bu_name:业务域名称。 parent_bu_id:业务域。
稳定性指标字段： total_auto_stability_score：稳定性评分 iter_case_success_rate: 迭代自动化成功率 iter_case_success_rate_cpp: 迭代自动化成功率环比 auto_case_failed_rate: 自动化失败率 auto_case_failed_rate_cpp: 自动化失败率环比 case_aigc_avg_score: 用例健壮有效性评分 case_aigc_avg_score_cpp: 有效性评分环比
模板：
2.2 自动化稳定性 用表格展示自动化稳定性，表格内容包含所有一级业务域、二级业务域。 表头按照顺序输出： 1、业务域 2、自动化稳定性评分 3、迭代自动化成功率 4、迭代自动化成功率环比 5、自动化失败率 6、失败率环比 7、用例健壮有效性评分 8、有效性评分环比
重点关注项：xxx --仅分析二级业务域的稳定性性指标字段，列出需重点关注指标。
模板说明：
1、以html格式输出，增加内容丰富度，不输出任何多余内容。 2、表格说明：表格需要包含所有业务域数据。不要省略或者缺少任何业务域数据，将所有业务域展示在同一个表格内。 3、表格行排序：根据评分从高到低排序。 4、环比字段说明：指标环比下降环比字段标记红色，环比提升字段标记绿色，不标记背景色。
任务说明
1、用户将提供接口返回的JSON数据。 2、根据接口数据和匹配字段映射关系。 3、结合模板以及模板说明html形式输出，不输出任何多余内容。 请你根据以上内容，回复用户，不需要输出示例。`
模板转换
输出的表格形式通过模板转化固定输出html表格形式，提升模型输出稳定性。
输出形式
以markdown形式或以html形式输出，复制到飞书文档上进行输出。
飞书机器人通知归因分析 
生成飞书文档
支持飞书应用直接新建飞书文档，markdown形式输出。
对话返回生成后的飞书文档地址及分析：
三、总结
在日常工作中如何有效利用数据指标驱动项目进展，现有数据收集和分析流程中面临的挑战。通过手动收集数据、生成报表、平台开发等传统方式，需要投入大量时间和人力资源，导致工作效率低下。
为此，引入了研发效能AI 智能体平台，AI工作流平台不仅改进了数据处理方式，还提升了报告生成的效率和准确性，从而增强了业务洞察力。进一步丰富工作流和知识库，提高对核心数据指标的分析能力，并针对异常数据指标进行细致剖析，为团队提供更深入的指导和支持。
此外，相似场景的处理也可以借助AI工作流进行优化，有望在多个业务领域推广应用。
四、后续规划
- 丰富工作流：丰富结合知识库，针对每项核心数据指标提升建议以及业务域现状给予业务域具体指导建议。
- 明细下钻分析：获取对应数据指标异常后，结合明细数据进行分析，具体到用例、人员级别。
- 类似场景可通过AI工作流处理：固定模板数据源报告类、周会均可使用该方法减少人工投入成本。
往期回顾
1.Rust 性能提升"最后一公里"：详解 Profiling 瓶颈定位与优化｜得物技术
2.Valkey 单点性能比肩 Redis 集群了？Valkey8.0 新特性分析｜得物技术
3.社区搜索离线回溯系统设计：架构、挑战与性能优化｜得物技术
文 / 笠
关注得物技术，每周更新技术干货
要是觉得文章对你有帮助的话，欢迎评论转发点赞～
未经得物技术许可严禁转载，否则依法追究法律责任。
