使用Atlas进行元数据管理之Glossary(术语)-低调大师

使用Atlas进行元数据管理之Glossary(术语)

2018-11-18 643

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索,在接下来的系列文章中,会将经验与收获和读者们进行分享。

元数据系列文章：
[1] - 使用Atlas进行元数据管理之Glossary(术语)
[2] - 使用Atlas进行元数据管理之Type(类型)

0. 当我们谈论数据治理/元数据管理的时候，我们究竟在讨论什么？

谈到数据治理，自然离不开元数据。元数据(Metadata)，用一句话定义就是：描述数据的数据。元数据打通了数据源、数据仓库、数据应用，记录了数据从产生到消费的全过程。因此，数据治理的核心就是元数据管理。

数据的真正价值在于数据驱动决策，通过数据指导运营。通过数据驱动的方法判断趋势，帮住我们发现问题，继而推动创新或产生新的解决方案。随着企业数据爆发式增长，数据体量越来越难以估量，我们很难说清楚我们到底拥有哪些数据，这些数据从哪里来，到哪里去，发生了什么变化，应该如何使用它们。因此元数据管理(数据治理)成为企业级数据湖不可或缺的重要组成部分。

可惜很长一段时间内，市面都没有成熟的数据治理解决方案。直到2015年，Hortonworks终于坐不住了，约了一众小伙伴公司倡议：咱们开始整个数据治理方案吧。然后，包含数据分类、集中策略引擎、数据血缘、安全和生命周期管理功能的Atlas应运而生。(PS：另一个应用的较多的元数据开源项目是Linkedin 在2016年新开源的项目：WhereHows)Atlas目前最新的版本为2018年9月18日发布的1.0.0版本。

1. Atlas介绍

Atlas 是一个可伸缩和可扩展的核心基础治理服务集合，使企业能够有效地和高效地满足 Hadoop 中的合规性要求，并允许与整个企业数据生态系统的集成。

Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据科学家，数据分析师和数据治理团队提供围绕这些数据资产的协作功能。

关于Atlas的背景讲完了，接下来我们依次来讲Atlas中的几个概念，首先是今天的主角：Glossary。

1.1 Glossary(术语表) 介绍

Atlas的术语表(Glossary)提供了一些适当的“单词”，这些“单词”能彼此进行关连和分类，以便业务用户在使用的时候，即使在不同的上下文中也能很好的理解它们。此外，这些术语也是可以映射到数据资产中的，比如：数据库，表，列等。

术语表抽象出了和数据相关的专业术语，使得用户能以他们更熟悉的方式去查找和使用数据。

1.2 术语表功能

能够使用自然语言（技术术语和/或业务术语）定义丰富的术语词汇表。
能够将术语在语义上相互关联。
能够将资产映射到术语表中。
能够按类别划分这些术语。这为术语增加了更多的上下文。
允许按层次结构排列类别，能展示更广泛和更精细的范围。
从元数据中独立管理术语表。

1.3 术语(Term)

对于企业来说术语作用的非常大的。对于有用且有意义的术语，需要围绕其用途和上下文进行分组。 Apache Atlas中的术语必须具有唯一的qualifiedName，可以有相同名称的术语，但它们不能属于同一个术语表。具有相同名称的术语只能存在于不同的术语表中。

术语名称可以包含空格，下划线和短划线（作为引用单词的自然方式）但不包含“。”或“@”，因为qualifiedName的格式为：<术语>@<术语限定名>。限定名称可以更轻松地使用特定术语。

术语只能属于单个术语表，并且它们的生命周期也是相同的，如果删除术语表，则术语也会被删除。术语可以属于零个或多个类别，这允许将它们限定为更小或更大的上下文。

可以在Apache Atlas中为一个或多个实体分配/链接一个术语。可以使用分类（classifications，类似标签的作用）对术语进行分类，并将相同的分类应用于分配术语的实体。

1.4 类别(Category)

类别是组织术语的一种方式，以便可以丰富术语的上下文。

类别可能包含也可能不包含层次结构，即子类别层次结构。类别的qualifiedName是使用它在术语表中的分层位置导出的，例如:<类别名称>.<父类别限定名>。当发生任何层级更改时，此限定名称都会更新，例如：添加父类别，删除父类别或更改父类别。

2. Atlas Web UI

Apache Atlas UI提供了友好的用户界面，可以使用术语表相关的功能，其中包括：

创建术语表，术语和类别
在术语之间创建各种关系: synonymns(同义词)，antonymns(反义词)，seeAlso(参考)
调整类别的层次结构中
为实体分配实体(entities)
使用关联术语搜索实体

与术语表相关的UI都可以在GLOSSARY的Tab下找到。

2.1 Glossary Tab

Apache Atlas UI提供了两种使用术语表的方法: 术语(Terms)视图和类别(Category)视图。

(1) 术语视图(Terms)

术语视图允许用户执行以下操作：

创建，更新和删除术语
添加，删除和更新与术语关联的分类
添加，删除和更新术语的分类
在术语之间创建各种关系
查看与术语关联的实体

(2) 类别视图(Category)

类别视图允许用户执行以下操作：

创建，更新和删除类别和子类别
将术语与类别相关联

用户可以使用术语表选项卡中提供的切换在术语视图和类别视图之间切换。

2.2 术语视图(Terms)

创建一个新术语
单击术语表名称旁边的省略号（...）会显示一个弹出式菜单，允许用户在术语表中创建术语或删除术语表 - 如下所示。

删除一个术语
单击术语名称旁边的省略号（...）会显示一个弹出式菜单，允许用户删除该术语 - 如下所示。

2.2.1 术语详情

选择术语表UI中的术语，可以查看对应术语的各种详细信息。详细信息页面下的每个选项卡提供该术语的不同详细信息。

Entities(实体)选项卡：显示分配给所选术语的实体
Classifications(分类)选项卡：显示与所选术语关联的分类
Related terms (相关术语)选项卡：显示与所选术语相关的术语

2.2.2 给术语添加分类(classification)

单击分类标签旁边的+可为术语添加分类。

2.2.3 与其他术语建立术语关联

查看术语详细信息时，单击Related Terms(相关术语)选项卡。单击+将术语与当前术语链接。

2.2.4 对术语进行分类

单击类别标签旁边的+可对术语进行分类。将提供模态对话框以选择类别。

2.3 类别视图(Category)

当切换开关处于Category时，左侧面板将列出所有术语表以及类别层次结构。

2.3.1 类别菜单(Category)

单击Category旁边的省略号...将显示类别上下文菜单。

创建新类别
创建子类别或删除类别

2.3.2 类别详情

选择Category后，详细信息将显示在右侧窗口中。

2.3.3 术语分类

单击详情页中Terms标签旁边的+链接所选类别下的术语。

3. 术语分配流程

可以在搜索结果页和Glossary-Terms实体详情页中给entity(实体)分配术语。

3.1 分配术语

在搜索结果页面，点击terms列下的+

点击terms标签旁边的+

这两个操作都将显示下面的结果，按照屏幕上的提示完成术语分配。

3.2 分类传播(Propagated classification)

如果一个术语具有分类，则该术语下的实体继承相同的分类。

3.3. 使用术语搜索

Apache Atlas基本搜索API和UI已更新，以支持术语作为搜索条件。允许用户查找与给定术语相关联的实体。

4. REST API

Atlas支持以下操作，可在这里找到REST接口的详细信息。

5.1 JSON结构

Glossary

{
    "guid": "2f341934-f18c-48b3-aa12-eaa0a2bfce85",
    "qualifiedName": "SampleBank",
    "displayName": "Banking",
    "shortDescription": "Glossary of bank",
    "longDescription": "Glossary of bank - long description",
    "language": "English",
    "usage": "N/A",
    "terms": [
    {
        "termGuid": "502d34f1-b85f-4ad9-9d9f-fe7020ff0acb",
        "relationGuid": "6bb803e4-3af6-4924-aad6-6ad9f95ecd14",
        "displayText": "A savings account"
    }, {
        "termGuid": "e441a540-ee55-4fc8-8eaf-4b9943d8929c",
        "relationGuid": "dbc46795-76ff-4f68-9043-be0eff0bc0f3",
        "displayText": "15-30 yr mortgage"
    }, {
        "termGuid": "998e3692-51a8-47fe-b3a0-0d9f794437eb",
        "relationGuid": "0dcd31b9-a81c-4185-ad4b-9209a97c305b",
        "displayText": "A checking account"
    }, {
        "termGuid": "c4e2b956-2589-4648-8596-240d3bea5e44",
        "relationGuid": "e71c4a5d-694b-47a5-a41e-126ade857279",
        "displayText": "ARM loans"
    }],
    "categories": [{
        "categoryGuid": "dd94859e-7453-4bc9-b634-a17fc14590f8",
        "parentCategoryGuid": "e6a3df1f-5670-4f9e-84da-91f77d008ce3",
        "relationGuid": "a0b7da02-1ccd-4415-bc54-3d0cdb8857e7",
        "displayText": "Accounts"
    }, {
        "categoryGuid": "e6a3df1f-5670-4f9e-84da-91f77d008ce3",
        "relationGuid": "0e84a358-a4aa-4bd3-b806-497a6962ae1d",
        "displayText": "Customer"
    }, {
        "categoryGuid": "7f041401-de8c-443f-a3b7-7bf5a910ff6f",
        "parentCategoryGuid": "e6a3df1f-5670-4f9e-84da-91f77d008ce3",
        "relationGuid": "7757b031-4e25-43a8-bf77-946f7f06c67a",
        "displayText": "Loans"
    }]
}

Term

{
    "guid": "e441a540-ee55-4fc8-8eaf-4b9943d8929c",
    "qualifiedName": "fixed_mtg@SampleBank",
    "displayName": "15-30 yr mortgage",
    "shortDescription": "Short description",
    "longDescription": "Long description",
    "examples": ["N/A"],
    "abbreviation": "FMTG",
    "anchor": {
        "glossaryGuid": "2f341934-f18c-48b3-aa12-eaa0a2bfce85",
        "relationGuid": "dbc46795-76ff-4f68-9043-be0eff0bc0f3"
    },
    "categories": [{
        "categoryGuid": "7f041401-de8c-443f-a3b7-7bf5a910ff6f",
        "relationGuid": "b4cddd33-7b0c-41e2-9324-afe549ec6ada",
        "displayText": "Loans"
    }],
    "seeAlso"           : [],
    "synonyms"          : [],
    "antonyms"          : [],
    "replacedBy"        : [],
    "replacementTerms"  : [],
    "translationTerms"  : [],
    "translatedTerms"   : [],
    "isA"               : [],
    "classifies"        : [],
    "preferredTerms"    : [],
    "preferredToTerms": [ {
                           "termGuid"   : "c4e2b956-2589-4648-8596-240d3bea5e44",
                           "displayText": "ARM Loans"
                         }]
}

Category

{
    "guid": "7f041401-de8c-443f-a3b7-7bf5a910ff6f",
    "qualifiedName": "Loans.Customer@HortoniaBank",
    "displayName": "Loans",
    "shortDescription": "Loan categorization",
    "anchor": {
        "glossaryGuid": "2f341934-f18c-48b3-aa12-eaa0a2bfce85",
        "relationGuid": "7757b031-4e25-43a8-bf77-946f7f06c67a"
    },
    "parentCategory": {
        "categoryGuid": "e6a3df1f-5670-4f9e-84da-91f77d008ce3",
        "relationGuid": "8a0a8e11-0bb5-483b-b7d6-cfe0b1d55ef6"
    },
    "childrenCategories" : [],
    "terms": [{
        "termGuid": "e441a540-ee55-4fc8-8eaf-4b9943d8929c",
        "relationGuid": "b4cddd33-7b0c-41e2-9324-afe549ec6ada",
        "displayText": "15-30 yr mortgage"
    }, {
        "termGuid": "c4e2b956-2589-4648-8596-240d3bea5e44",
        "relationGuid": "8db1e784-4f04-4eda-9a58-6c9535a95451",
        "displayText": "ARM loans"
    }]
}

5.2 CURD

5.2.1 创建操作(CREATE)

创建术语表
创建一个术语
创建分类术语
用关系创建术语
创建一个类别
创建具有层次结构的类别
创建类别并对术语进行分类
为实体分配术语

注意：

在创建操作期间，术语表，术语和类别将获得自动分配的GUID和qualifiedName。
要创建包含子项的类别，必须事先创建子项。
要创建属于某个类别的术语，必须事先创建该类别。
要创建关系术语，必须事先创建相关术语。

5.2.2 读操作(READ)

通过GUID获取术语表 - 提供属于术语表的所有术语和类别（标题）。
获取所有术语表 - 为所有术语表提供他们的术语和类别（标题）。
通过GUID获取术语 - 提供有关术语，其所属类别（如果有）以及任何相关术语的详细信息。
通过GUID获取类别 - 提供有关类别，类别层次结构（如果有）和属于该类别的术语的详细信息。
获取给定术语表的所有术语 - 提供属于给定术语表的所有术语（具有＃3中提到的详细信息）。
获取给定术语表的所有类别 - 提供属于给定术语表的所有类别（具有＃4中提到的详细信息）。
获取与给定术语相关的所有术语 - 提供与给定术语相关/链接的所有术语。
获取与给定类别（父母和子女）相关的所有类别
获取给定类别的所有条款

5.2.3 更新操作(UPDATE)

局部更新术语表
局部更新术语
局部更新类别
更新给定的词汇表
更新给定的术语
更新给定的类别

注意：

局部更新仅处理词汇表模型文件中定义的原始属性。
分配后，无法更改GUID和qualifiedName。唯一的方法是删除并重新创建所需的对象。
在任何更新中都无法删除锚点
更新API期望在GET调用之后就地修改JSON。任何缺失的属性/关系都将被删除。
对类别层次结构的任何更新都会导致对其下的层次结构进行级联更新，例如锚更改会影响所有子项，父项更改会影响self和children的qualifiedName。

5.2.4 删除操作(DELETE)

删除术语表 - 删除锚定到给定词汇表的所有类别和术语。如果已为实体分配任何术语，则会阻止此删除。
删除术语 - 仅当术语未与任何实体关联/分配时才删除该术语。
删除类别 - 仅删除给定类别，所有子项都成为顶级类别。
从实体中删除术语分配

微信关注我们

原文链接：https://yq.aliyun.com/articles/671071

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

0020-使用JDBC向Kudu表插入中文字符-双引号的秘密

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题描述使用Impala JDBC向Kudu表中插入中文字符，插入的中文字符串乱码，中文字符串被截断。 2.问题复现测试环境： CDH5.12.0 Kudu1.4.0 ImpalaJDBC41_2.5.35 1.使用ImpalaJDBC代码进行测试，测试代码 static String JDBC_DRIVER = "com.cloudera.impala.jdbc41.Driver"; static String CONNECTION_URL = "jdbc:impala://ip-172-31-10-118:21050/default"; public static void main(String[] args) { Connection con = null; ResultSet rs = null; PreparedStatement ps = null; try { Class.forName(JDBC_DRIVER); con = DriverManager.getConnection(CONNECTI...

2018-11-19

655

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索,会在接下来的系列文章中, 将经验与收获和读者们进行分享。元数据系列文章： [1] - 使用Atlas进行元数据管理之Glossary(术语) [2] - 使用Atlas进行元数据管理之Type(类型) 1. 概述 Atlas允许用户为他们想要管理的元数据对象定义模型。该模型由称为type(类型)的定义组成。称为entities(实体)的type(类型)实例表示受管理的实际元数据对象。 Type System是一个允许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，需要了解类型系统组件的概念。 2. Types(类型) Atlas中的Type是对特定类型的元数据对象如何存储和访问的定义。Type表示定义元数据对象属性的一个或一组属性。具有开发基础的用户能了解到，类型就相当于面向对象编程语言的“Class”定义或关系数据库的“table schema”。使用Atlas的类型的其中一个示例是Hive表。 Hive表定义...

2018-11-19

623

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。