DataWorks Copilot：让你的数据质量覆盖率一键飞升！-低调大师

DataWorks Copilot：让你的数据质量覆盖率一键飞升！

2025-02-08 184

为什么要保障数据质量？

在数据加工链路中，如何确保高质量的数据产出是一个一直需要重点解决的问题。因为一旦数据加工链路中，出现了数据质量问题，轻则数据报表给出不靠谱的业务分析，影响业务决策；重则向用户推送数据错误，严重降低产品用户对产品的信心，甚至失去重要产品客户。根据Gartner的研究报告，“企业每年因低劣的数据质量而蒙受的平均损失高达1290万美元。”（参见Manasi Sakpal于2021年7月14日发布的《如何改进您的数据质量》一文，https://www.gartner.com/cn/information-technology/articles/how-to-improve-your-data-quality-cn）。尤其2022年下半年以来，随着ChatGPT的大规模推广，在全世界范围内掀起了有史以来最大的AI浪潮，高质量的数据诉求变得前所未见的高涨，那句“Garbage in，Garbage out”也变得人尽皆知。

数据质量的评价指标

那么数据质量应该如何确保呢？中国电子技术标准化研究院与相关部门起草了《GB/T 36344-2018 信息技术数据质量评价指标》。相应的，DAMA也曾经提出过一系列的数据质量体系建设建议，其中在技术层面被最广泛落地的方法论也是类似于这套质量评价指标和根据这套评价指标而衍生出来的一整套数据质量规则。

从各大公司内部衍生孵化出来的各种云产品来看，虽然或多或少的有些出入，但是整体上都不谋而合地在遵循的这套建议思路建设各自的数据质量产品。比如在DataWorks数据质量产品中就包含下列数据质量规则模板，来帮助用户在离线表上定义相关的规则。

那么DataWorks的数据质量规则模板是如何帮助用户建设数据质量的呢，举个例子，假设您有一张电商交易流水表，建表语句如下：

CREATE TABLE IF NOT EXISTS dws_d_dqc_suggesion_demo (
     id BIGINT COMMENT '主键',
     user_id STRING COMMENT '用户ID',
     item_id STRING COMMENT '商品ID',
     shop_id STRING COMMENT '店铺ID',
     name STRING COMMENT '用户姓名',
     family_name STRING COMMENT '姓氏',
     birth STRING COMMENT '生日，格式 yyyy-mm-dd',
     birth_time DATETIME COMMENT '日期类型的生日',
     order_url STRING COMMENT '下单地址，是一个web页面地址',
     create_time DATETIME COMMENT '日期类型的下单时间',
     order_time STRING COMMENT '下单时间，业务上order_time、user_id应该是一个唯一值，即一个用户在同一个时刻只能发生一次购买行为',
     user_ip STRING COMMENT '下单客户端ip',
     user_mac STRING COMMENT '下单客户端mac地址',
     user_agent STRING COMMENT '下单时的客户端标识',
     email STRING COMMENT '用户账号的邮箱',
     phone_number STRING COMMENT '用户的联系方式',
     price STRING COMMENT '总价',
     amount STRING COMMENT '购买数量',
     unit_price DECIMAL COMMENT '单价',
     client_token STRING COMMENT '下单时生成的全链路唯一标识，避免失败重试的重复下单',
     `status` STRING COMMENT '订单状态，Ready - 就绪、WaitingPayed - 待付款、Payed - 已付款待发货、Canceled - 已取消、Shipped - 已发货、WaitingCollecting - 已送达未领取、Delivered - 已收货、Confirmed - 已确认',
     status_comment STRING COMMENT '状态说明，比如已送达未领取时，这里可以记录签收地等信息，可空'
) 
PARTITIONED BY (ds STRING COMMENT '日期分区，格式yyyymmdd') 
STORED AS ALIORC  
TBLPROPERTIES ('columnar.nested.type'='true') 
LIFECYCLE 365;

按照上面提到的数据质量评价指标，预期的数据质量规则如下：

看到这张规格表您可能会有些头疼，虽然已经知道了应该配置哪些规则，但是一张表就要手动配置如此大量的规则，每种规则要配置的参数又各不一样，并且表的字段数越多，配置的工作量就越会上升。感觉如果要手动遵循这套数据质量的建设思路来提升数据质量监控覆盖率，是一个很难完成的任务。

为了解决这一问题，DataWorks Copilot 推出了数据质量规则推荐功能，您可以使用这一功能，一键提升数据质量覆盖度。

功能演示

开始推荐

我们在数据质量的规则创建入口，都新增了“Copilot规则推荐”的按钮，我们以下面这张表为例，演示一下规则推荐的使用方式。

点击“Copilot规则推荐”，触发推荐流程，Copilot就会开始自动基于当前表类型、基础信息、字段信息及质量规则模版为您生成相应的规则建议。

规则推荐入口

为了帮助用户快速享受Copilot规则推荐的智能化能力，我们在所有可以配置数据质量规则的地方，都添加了响应的入口，主要包括如下几处

数据质量节点

新建质量监控

表质量详情：选中某个质量监控创建规则

Copilot 规则推荐的奥秘

当前的数据质量产品推荐机制，是通过整合数据质量产品支持的规则类型、适用场景以及需要配置质量规则的表元数据，来形成一个全面的规则提示词。然后借助大模型对文本的理解能力，生成一系列合适的规则推荐列表。因此，推荐结果的准确性在很大程度上依赖于表名、字段名及其描述的精细程度。如果表命名和字段命名遵循一定的规范，并且其描述详尽丰富，最终推荐的效果将更为理想。

然而，基于元数据与大模型结合的方式，在实际应用中仍存在局限性，无法精准推荐某些类型的规则。为此，我们特别提高了经验证效果后表现较好的规则模板的优先级；而对于已知表现不佳的模板，则采取不推荐或降低推荐权重的做法。这些表现优秀的应用场景包括但不限于以下几个方面：

业务主键字段：确保非空且无重复值。
业务联合主键字段：要求非空，并且多字段组合时不应出现重复记录。
ID字段：必须保证非空。
枚举类字段：适用于具有固定选项集合的情况。
日期类字段：对于时间信息的处理尤为重要。
以字符串形式存储的数值型字段：这类特殊情况下也需要特别注意数据格式的一致性和正确性。

随着未来更多新规则模板的引入，我们将持续优化和完善相应的推荐策略，力求为用户提供更为准确高效的服务体验。

当前挑战与未来展望

目前依赖于静态元数据推荐的策略，其效果的好坏取决于表维护者的时间和精力等诸多客观条件。对于元数据不够完善的情况，或者无法通过元数据评估的情况，当前的推荐效果可能不尽如人意。

为了进一步提升推荐效果，我们将纳入更丰富的数据源，例如表的数据内容分布、表的产出信息、最佳实践以及用户自定义的知识库等，提供给大模型进行分析。通过持续迭代，我们希望能够帮助用户更快速、更准确地完成对数据质量监控场景的覆盖。这一过程不仅需要技术上的不断进步，还需要我们在理解用户需求和优化用户体验方面不断努力，以期达到更高的服务水平。

优惠体验

数据资产管理是DataWorks软件企业版独有功能，现对广大用户送出新年福利：

首次购买标准版/专业版或从基础版升级到标准版/专业版，可免费体验企业版独有的数据资产治理功能1个月；
标准版/专业版老用户可以免费体验企业版独有的数据资产治理功能45天；
首次购买企业版或低版本即将到期（31天内）升级到企业版，可以申请享受首月299元的优惠，申请入口>>；

微信关注我们

原文链接：https://my.oschina.net/u/5583868/blog/17526952

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

OceanBase 备份清理任务卡死之谜

正常情况下，会有一个 OceanBase 备份文件清理任务定期执行。备份文件超过了预设数量，猜测可能是文件清理任务出现问题。 > 作者：何文超，爱可生南区交付服务部 DBA 团队成员。主要负责 MySQL 故障处理，MySQL 高可用架构改造，OceanBase 相关技术支持。爱好足球，羽毛球。 > >爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 > >本文约 1500 字，预计阅读需要 5 分钟。问题背景客户 OceanBase 集群的备份策略是每天全备，备份文件最近保留 4 天。经过观察，实际保留的备份文件多大 13 个，导致磁盘空间占用较高。问题排查正常情况下，会有一个备份文件清理任务定期执行。备份文件超过了预设数量，猜测可能是文件清理任务出现问题。 1. 备份文件的清理任务先看一下自动清理时间间隔的计算公式：自动清理的时间间隔 = min(recovery_window/2, 1d) 故正常每天会发起一次备份文件的清理任务。 > 注意：对于 oceanbase-3.1.2-2021123011420...

2025-02-07

145

编者按：大语言模型真的能像人类一样高效处理海量信息吗？我们今天为大家带来的这篇文章，作者揭示了大语言模型在长上下文处理中的技术挑战与未来发展路径。文章重点聚焦于三个关键层面：首先，解析了 Transformer 模型注意力机制的计算成本问题，指出随着上下文长度增加，计算复杂度呈指数级增长；其次，探讨了 Mamba 等新兴架构在突破传统模型局限性方面的潜力；最后，强调需要跳出现有思维模式，寻找处理海量信息的创新方法。作者 | Timothy B. Lee 编译 | 岳扬 OpenAI 在两年前推出 ChatGPT 时，其能够处理的上下文信息仅有 8,192 个 tokens^1^。换言之，如果输入的文本超过大约 15 页，它就会"遗忘"最初的上下文内容。这一限制使得 ChatGPT 在处理任务时的规模和复杂度都受到了影响。而现今的 LLMs 能力有了显著提升： OpenAI 的 GPT-4o[1] 现在能够处理多达 128,000 个 tokens 的上下文。 Anthropic 的 Claude 3.5 Sonnet[2] 可以处理 200,000 个 tokens 的上下文。...

2025-02-08

316

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。