每日一博 | 谈谈数据管理中的数据治理和元数据

 

一 数据治理

数据治理是数据管理策略中最基本的功能，因为它是其他功能的中心和领导。在这里，我们应该对两个经常被误解的概念进行区分:

•数据治理负责定义数据管理策略

•数据管理是执行定义的策略

虽然数据治理不是一个技术性的功能，但它可以利用元数据和建模工具的力量来定义数据管理的某些方面。这些工具将用于更好地理解将要使用的数据和数据流的总体架构。

根据DAMA，数据治理是指对组织中使用的数据的可靠性、可用性、完整性和安全性的综合管理。

数据治理包括:

•管理机构(理事会)

•一套标准和政策

•执行这些标准和政策的计划。

数据治理计划在整个组织中建立流程，以便在系统和应用程序中提供标准，例如术语的定义和一致的业务规则。

它确定参与需求定义的合适人员，并建立数据标准和数据使用的定义。

数据治理确保在整个组织中定义和应用相同的数据标准和策略。

1数据管理的基本原则

•为了确保在整个企业中遵循已定义的标准，必须建立一个数据治理组织。

•数据治理的组织涉及到多层业务和技术角色的组合:

•发起人:为数据治理工作提供领导和资金

•数据管理委员会:鼓励采用和实施控制和流程

•角色:为数据建立角色并明确定义职责

•标准:明确定义和发布的标准和政策

•监督:建立跟踪、审计和报告符合标准和政策的过程。

•变更控制:建立评估、批准和沟通标准和策略变更的过程。

•执行支持:确保执行人员参与并与数据治理计划保持一致。

2数据治理过程

 

 

(1)数据治理组织建立

•确定数据治理计划的执行发起人

•建立数据治理委员会

•让数据治理活动的主要涉众(数据所有者、数据管理员、数据管家、架构师)参与进来

(2)定义标准和数据策略

•定义数据标准

•定义数据策略

(3)数据标准和政策遵从

•在整个组织内应用标准和数据策略

(4)审计监控及及测量

•定期进行审计和控制操作

•数据治理控制绩效的监控和测量。

3数据治理的技术工具

元数据和数据质量支持工具用于数据治理的实现。市场上很少有工具被认为是特定的。数据治理的重要功能是设计工作流，该工作流可用于实现数据标准和策略。另一个重要的功能是设计用于监视和控制数据治理活动的仪表板。

 

 

二 元数据

元数据管理是成功的数据管理策略的另一个关键功能。在深入讨论它之前，让我们先介绍元数据的概念和它的不同类型。

1元数据的基本概念

根据维基百科，元数据是“提供关于其他数据的信息的数据信息”。换句话说，元数据是关于数据的数据，数据提供关于该数据的一个或多个方面的信息。

元数据用于总结基本信息，以便于跟踪和处理数据。例如，我们一张数字图像，它的元数据可以是图像的大小、分辨率、存储的位置、生成的时间等等。元数据概念中有两个基本组件:数据元素(DE)和关键数据元素(CDE)。

(1)数据元素(DE)

数据元素或DE，是由一组属性组成的数据原子单元:

•定义

•识别

•表示

•允许的值

(2)关键数据元素(CDE)

关键数据元素是对特定业务领域或业务流程的成功至关重要的数据元素。数据元素成为关键元素的标准是：

•业务数据被认为是该组织的关键元素。

•关键业务流程数据及其组件，例如客户联系方式。

•高级业务报告中使用的关键数据。

•公司中重要事物的唯一标识符，例如客户ID。

2元数据管理

它涉及到管理关于其他数据的数据，例如数据模型和结构，而不是内容。它包括管理关于不同模型的数据结构及其关联的信息，如:

•术语表中的业务术语

•数据逻辑模型或数据库表和列中的属性，以及它们的关联

有业务元数据和技术元数据，它们的特征如下图所示:

 

 

(1)业务元数据

它们从业务使用的角度描述数据元素，包括包含术语和定义、同义词、首字母缩写、业务规则和职责的业务术语表等信息。我们所说的业务元数据是指:

•商业词汇和分类

•业务规则

•责任

(2)技术元数据

它们从技术的角度描述数据元素，包括逻辑数据模型、源和目标系统、表和字段结构以及系统依赖关系等信息。

操作元数据是关于应用程序的：频率、帐户记录，以及用于审计目的的分析和其他统计数据的组件。

(3)关键数据元素标准

技术和业务元数据表示关键数据元素标准，这意味着从技术和业务角度对关键数据元素进行了全面描述。

关键数据元素标准又称关键数据元素的360º视图。通过获得关键数据元素的360°视图，为整个组织的数据管理提供最佳条件，这是数据管理的最终目标。

一旦实现了这一点，就有可能回答以下问题:

•关键数据元素的定义是什么?

•谁拥有关键数据元素业务?

•关键数据元素存储在哪里?

•在哪些报告中使用关键数据元素 ?

(4)元数据管理角色

元数据管理涉及到的几个角色:

•业务所有者:负责数据的定义、质量和数据价值。他们负责确认数据的使用与一般数据策略一致。数据治理，他们还负责驱动活动和数据管理流程。

•管理员:或者数据管家负责对数据进行操作监控，以及与整个组织中各个领域的专家进行互动，以及确认数据标准的定义，以及流程和实践的实施

•技术负责人:技术专家，负责确保来自系统的数据由已定义的数据标准管理和使用。包括遵从业务规则、策略和过程。

•数据保管人:技术专家，负责系统中数据的安全管理。它负责确认所定义的数据标准是否得到应用。

•关键数据元素的最终来源是什么系统?

3元数据管理流程

 

 

元数据流程活动涵盖了数据管理中的人员、流程和技术。

(1)识别关键数据元素

通过与涉众面谈来分析业务需求和确定最相关的关键数据元素的活动。

(2)为关键数据元素收集业务元数据

对于相关的关键数据元素定义业务术语，同义词、首字母缩写、定义和分类法也定义业务规则并负责地确定这些规则。

(3)为关键数据元素收集技术元数据

对于相关的关键数据元素，确定数据系统中的关键数据元素表示，确定数据源和数据沿袭。

(4)创建关键数据元素标准(360º视图)

关键数据元素创建业务和技术元数据之间的关联，验证关键数据元素数据标准。

(5)应用关键数据元素标准

确保符合关键数据元素标准，以确保每个关键数据元素的管理并由定义的标准(数据治理)使用。

4系统开发的生命周期

指的是计划、创建、测试和部署信息的过程。定义从系统开发生命周期中获得的元数据，并将其作为元数据功能过程的一部分，这一点很重要。

 

 

5元数据工具

元数据管理系统最低技术要求要包含以下功能:

•能够建立和部署集中的元数据存储库。

•能够通过词汇表的层次结构定义一致的术语、有效的定义、有效的值和数据域。

•能够从数据建模工具、商业智能工具和ETL中提取最流行的数据库管理系统(Oracle、SQLServer、NoSQL)的元数据。

•能够管理来自多个来源和技术的元数据版本。

 

 

三 小结

 

元数据被称为“描述数据的数据”，是数据治理的基础，元数据描述着数据的属性，数据与数据之间的关系，对我们进行数据治理有着极深的关系，它清晰展示出数据的血缘关系、提供数据地图和影响分析大大提高业务人员在业务系统修改数据时的效率，是数据治理的基石。

——–END——–