首页 文章 精选 留言 我的

精选列表

搜索[质量工程],共10003篇文章
优秀的个人博客,低调大师

数据质量规则如何自动拦截异常脏数据?数据质量规则怎样统一跨系统校验口径?

前阵子跟一家零售企业的数据负责人聊天,他说了一件事让我印象很深。某天早上打开BI报表,发现华东区销售额比昨天暴涨了300%。排查了半天才发现,昨晚从POS系统同步上来的一批交易数据里,金额字段多了一个0——10万的单子变成了100万。等发现的时候,这批数据已经进了数仓,下游七八张报表全部污染。

优秀的个人博客,低调大师

java工程师转大数据工程师

由于本人是从Java开发通过大概3个月的自学转到大数据开发的。所以我主要分享一下自己的学习路劲。 第一阶段: 01.Linux学习(跟鸟哥学就ok了) 02.Java 高级学习(《深入理解Java虚拟机》、《Java高并发实战》) 第二阶段: 03.Hadoop (董西成的书) 04.HBase(《HBase权威指南》) 05.Hive(《Hive开发指南》) 06.Scala(《快学Scala》) 07.Spark (《Spark 快速大数据分析》) 08.Python (跟着廖雪峰的博客学习就ok了) 第三阶段: 对应技能需求,到网上多搜集一些资料就ok了,我把最重要的事情(要学什么告诉你了),剩下的就是你去搜集对应的资料学习就ok了当然如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。 三,学习资源推荐: 01.Apache 官网 02.Stackoverflow 04.github 03.Cloudra官网 04.Databrick官网 05.过往的记忆(技术博客) 06.CSDN,51CTO 07.至于书籍当当一搜会有很多,其实内容都差不多。最后但却很重要一点:要多关注技术动向,持续学习。这么快破百赞了,又有了持续输出干货的动力。 作者:Fickr Sung孫啟誠 来源:知乎

优秀的个人博客,低调大师

AI质量专项报告自动分析生成|得物技术

一、背景 在日常工作中,常需要通过各项数据指标,确保驱动版本项目进展正常推进,并通过各种形式报表数据,日常总结日报、周会进展、季度进行总结输出归因,分析数据变化原因,做出对应决策变化,优化运营方式,目前在梳理整理校准分析数据需要大量的时间投入、结合整体目标及当前进展,分析问题优化的后续规划。 常见形式 人工收集 数据来源依赖于各系统平台页面,通过人工收集校准后填写再通过表格公式计算,或者可以通过多维表格工作流触发通知等功能。 quickbi报表 通过ODPS搭建自定义报表,实现快速收集数据,复制报表到飞书文档内进行异动分析。 平台能力开发 通过代码开发文档导出能力,根据固定模板生成数据分析,该能力开发人力成本较高,需要针对不同平台数据源定制化开发。 AI Studio智能体平台 研发效能团队基于开源Dify项目社区部署,可以根据需求自定义sop,多模型的可选项,选择最适合业务的模型。每个工作流节点可自定义流程的判断分析,轻松上线可投产的AI Agents。 Dify是一个支持工作流编排的AI智能体平台,轻松构建并部署生产级 AI 应用。其核心功能包含: 以工作流的方式编排AI应用,在工作流中可以添加LLM、知识库、Agent工具、MCP服务等节点,工作流支持分支流转、节点循环、自定义节点等高级能力项。 支持在工作流中调用公司内部的Dubbo/gRPC服务。(插件实现) 知识库管理,通过构建私有知识库以增强 LLM 的上下文。 与内部平台集成,支持H5页面嵌入、API的方式与内部平台集成。 主流模型集成,支持使用多种主流模型如DeepSeek、OpenAI等,支持多模态模型。 对标的业界产品有: 扣子:https://www.coze.cn FastGPT:https://tryfastgpt.ai n8n:https://n8n.io ✅ 多模型选择(适配不同业务场景) ✅ 可视化工作流搭建(支持自定义SOP) ✅ 全链路可观测性(实时调试优化) 综上本期实践利用AI工作流平台针对报告进行生成分析输出,让使用方回归到聚焦数据归因分析上,减少数据收集分析、文档编写成本。 二、应用实践 实践效果 整体分析数据从哪来->需要输出什么样的格式->优化模型输出结果,三步骤针对输出结果进行调优。 自动化成熟度分析工作流搭建案例 运用效果 ※ 报告效果 ※ 飞书机器人通知归因分析 数据处理 LLM:通过用户输入分析获取数据源请求格式,配置好对应数据的映射关系模型自行获取对应数据。 提示词输入 格式化输出配置 http请求:通过用户输入分析后的参数构造请求参数,通过固定接口拉取数据,支持curl导入功能。 代码执行:支持python、js代码对结果数据进行处理过滤,提升分析结果准确性。 模型提示词 如文档整体分为不同模块可设定不同模型节点处理,每个模块增加特定提示词处理节点内容,模型并行分析处理,提升输出稳定性和输出效率,再通过LLM输出整合进行整体输出。 在模型输入上下文及用户输入,通过获取的数据指定输出格式,设定提示词,提供AI结合模板输出对应形式。 通过衔接上下节点返回内容最终整合报表输出结果,统一输出样式格式。 优化输出 切换可用模型 遇到模型输出不稳定或者未达到预期效果,可切换可用模型,寻找适配模型。 设定模型预载参数 设定模型预载参数,提升模型输出准确度。 优化增加提示词 优化增加提示词提升输出形式稳定性:角色定义 -> 字段映射 -> 模板说明 -> 实际数据填充 -> 输出格式定义。 `## 角色定义 你是一位接口自动化测试专家以及报告生成专家,负责将接口返回的数据映射字段结合模板输出一份有效的自动化成熟度报告-稳定性部分。 接口返回数据字段映射关系: 基础字段: bu_name:业务域名称。 parent_bu_id:业务域。 稳定性指标字段: total_auto_stability_score:稳定性评分 iter_case_success_rate: 迭代自动化成功率 iter_case_success_rate_cpp: 迭代自动化成功率环比 auto_case_failed_rate: 自动化失败率 auto_case_failed_rate_cpp: 自动化失败率环比 case_aigc_avg_score: 用例健壮有效性评分 case_aigc_avg_score_cpp: 有效性评分环比 模板: 2.2 自动化稳定性 用表格展示自动化稳定性,表格内容包含所有一级业务域、二级业务域。 表头按照顺序输出: 1、业务域 2、自动化稳定性评分 3、迭代自动化成功率 4、迭代自动化成功率环比 5、自动化失败率 6、失败率环比 7、用例健壮有效性评分 8、有效性评分环比 重点关注项:xxx --仅分析二级业务域的稳定性性指标字段,列出需重点关注指标。 模板说明: 1、以html格式输出,增加内容丰富度,不输出任何多余内容。 2、表格说明:表格需要包含所有业务域数据。不要省略或者缺少任何业务域数据,将所有业务域展示在同一个表格内。 3、表格行排序:根据评分从高到低排序。 4、环比字段说明:指标环比下降环比字段标记红色,环比提升字段标记绿色,不标记背景色。 任务说明 1、用户将提供接口返回的JSON数据。 2、根据接口数据和匹配字段映射关系。 3、结合模板以及模板说明html形式输出,不输出任何多余内容。 请你根据以上内容,回复用户,不需要输出示例。` 模板转换 输出的表格形式通过模板转化固定输出html表格形式,提升模型输出稳定性。 输出形式 以markdown形式或以html形式输出,复制到飞书文档上进行输出。 飞书机器人通知归因分析 生成飞书文档 支持飞书应用直接新建飞书文档,markdown形式输出。 对话返回生成后的飞书文档地址及分析: 三、总结 在日常工作中如何有效利用数据指标驱动项目进展,现有数据收集和分析流程中面临的挑战。通过手动收集数据、生成报表、平台开发等传统方式,需要投入大量时间和人力资源,导致工作效率低下。 为此,引入了研发效能AI 智能体平台,AI工作流平台不仅改进了数据处理方式,还提升了报告生成的效率和准确性,从而增强了业务洞察力。进一步丰富工作流和知识库,提高对核心数据指标的分析能力,并针对异常数据指标进行细致剖析,为团队提供更深入的指导和支持。 此外,相似场景的处理也可以借助AI工作流进行优化,有望在多个业务领域推广应用。 四、后续规划 丰富工作流:丰富结合知识库,针对每项核心数据指标提升建议以及业务域现状给予业务域具体指导建议。 明细下钻分析:获取对应数据指标异常后,结合明细数据进行分析,具体到用例、人员级别。 类似场景可通过AI工作流处理:固定模板数据源报告类、周会均可使用该方法减少人工投入成本。 往期回顾 1.Rust 性能提升"最后一公里":详解 Profiling 瓶颈定位与优化|得物技术 2.Valkey 单点性能比肩 Redis 集群了?Valkey8.0 新特性分析|得物技术 3.社区搜索离线回溯系统设计:架构、挑战与性能优化|得物技术 4.正品库拍照PWA应用的实现与性能优化|得物技术 5.得物社区活动:组件化的演进与实践 文 / 笠 关注得物技术,每周更新技术干货 要是觉得文章对你有帮助的话,欢迎评论转发点赞~ 未经得物技术许可严禁转载,否则依法追究法律责任。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册