对接HiveMetaStore，拥抱开源大数据

2 普通schema在创建后会将schema的信息记录在pg_namespace中，external schema创建后和普通schema一样也会记录在pg_namespace，可以通过pg_namespace中的nsptype字段区分是external schema还是普通schmea。

除了存储在pg_namespace中的相关信息外，external schema连接相关的配置信息都会记录在pg_external_namespace中。

3 external schema下不支持创建表对象。对象的创建是在hive或者spark中创建的，external schema仅用于执行DML操作。

2.3 原理说明

GaussDB(DWS)对接HiveMetaStore流程如下图所示

1.创建Server，external schema，sql query查询。

用户在使用本特性前，将需要创建Server，创建Server过程与已有Server创建过程相同

对于创建OBS server有两种方式，一种是通过永久AK、SK的方式创建。（此种方式前提是可以获取永久AK、SK，但是此种方式不安全，AK/SK直接暴露在配置文件中，并且创建服务的时候需要明文输入AK、SK，不建议采用此种方式创建服务）

另一种云上DWS绑定ECS委托方式访问OBS，通过管控面创建OBS server。委托通过管控面创建server可参考创建外表时如何创建OBS server。https://support.huaweicloud.com/mgtg-dws/dws_01_1602.html

创建external schema：

external schema创建语法为

CREATE External Schema ex WITH SOURCE hive DATABASE 'default' SERVER hdfs_server METAADDRESS '10.254.159.121:9010' CONFIGURATION '/home/fengshuo/conf2';

其中SOURCE字段指定了外部元数据存储引擎的类型，DATABASE为Hive中对应的数据库名，SERVER为步骤1中创建的server，METAADDRESS为Hive提供的地址端口信息，CONFIGURATION为Hive、Kerberos相关配置文件路径。

external schema的目标是对接外部元数据（Foreign Meta），使得DWS能主动感知外部元数据的变化，如下图所示。

GaussDB(DWS) 通过external schema 对接HiveMetaStore，映射到对应的外表元数据，再通过外表访问 Hadoop。

SQL查询：select查询形式为 select * from ex.tbl，其中tbl为外源表名，ex为已创建的external schema。

2.语法解析：语法解析层主要针对进行解析，主要负责以下内容：

当读取到ex.tbl表以后，连接HMS进行元数据查询

3.元数据查询：从HMS中查询元数据信息，该步骤在步骤1中完成。

从HMS中读取数据，主要包括列信息，分区信息、分区键信息、分隔符信息等。

4.数据查询（针对select）：从DFS存储中获取统计信息文件个数和文件大小，为plan生成提供依据。

5.查询重写、查询优化、查询执行

6.查询下发：将元数据随plan下发给DN，DN收到plan以后，会将元数据进行解码后插入到SysCache中。

7.查询执行：DN访问obs对应文件，执行查询。

3. 与hivememtastore对接流程

3.1 准备环境

已创建 DWS 3.0集群和MRS分析集群，需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通；

已获取AK和SK。

3.2 在hive端创建需要对接的表

1、在/opt/client路径下，导入环境变量。

source bigdata_env

2、登录Hive客户端。

3、依次执行以下SQL语句创建demo数据库及目标表表product_info。

CREATE DATABASE demo;

use demo;

DROP TABLE product_info; CREATE TABLE product_info ( product_price int , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt int , product_comment_time date , product_comment_num int , product_comment_content varchar(200) ) row format delimited fields terminated by ',' stored as orc;

4、通过insert导入数据到hive表

3.3 创建外部服务器

使用Data Studio连接已创建好的DWS集群。

MRS端有两种支持格式，hdfs和obs。hive对接这两种场景的创建外部服务器的方式也有所不同

执行以下语句，创建OBS外部服务器。

CREATE SERVER obs_servevr FOREIGN DATA WRAPPER DFS_FDW OPTIONS ( address 'obs.xxx.com:5443', //OBS的访问地址。 encrypt 'on', access_key '{AK值}', secret_access_key '{SK值}'， type 'obs' );

执行以下语句，创建HDFS外部服务器。

CREATE SERVER hdfs_server FOREIGN DATA WRAPPER HDFS_FDW OPTIONS ( TYPE 'hdfs', ADDRESS '{主节点},{备节点}', HDFSCFGPATH '{hdfs配置文件地址}');

认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。另外，dws内部会对sk做加密处理，因此不用担心sk在传输过程中泄漏。

查看外部服务器（obs为例）。

SELECT * FROM pg_foreign_server WHERE srvname='obs_server';

返回结果如下所示，表示已经创建成功：

srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions --------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- obs_server | 16476 | 14337 | | | | {address=obs.xxx.com:5443,type=obs,encrypt=on,access_key=***,secret_access_key=***} (1 row)

3.4 创建EXTERNAL SCHEMA

获取Hive的metastore服务内网IP和端口以及要访问的Hive端数据库名称。

登录MRS管理控制台。

选择“集群列表 > 现有集群”，单击要查看的集群名称，进入集群基本信息页面。

单击运维管理处的“前往manager”，并输入用户名和密码登录FI管理页面。

依次单击“集群”、“Hive”、“配置”、“全部配置”、“MetaStore”、“端口”，记录参数hive.metastore.port对应的值。

依次单击“集群”、“Hive”、“实例”，记录MetaStore对应主机名称包含master1的管理IP。

创建EXTERNAL SCHEMA

//Hive对接OBS场景:SERVER名字填写2创建的外部服务器名称，DATABASE填写Hive端创建的数据库，METAADDRESS填写1中记录的hive端metastore服务的地址和端口，CONFIGURATION为MRS数据源默认的配置路径，不需更改。 DROP SCHEMA IF EXISTS ex1; CREATE EXTERNAL SCHEMA ex1 WITH SOURCE hive DATABASE 'demo' SERVER obs_server METAADDRESS '***.***.***.***:***' CONFIGURATION '/MRS/gaussdb/mrs_server' //Hive对接HDFS场景：SERVER名字填写创建MRS数据源连接创建的数据源名称mrs_server，METAADDRESS填写1中记录的hive端metastore服务的地址和端口，CONFIGURATION为MRS数据源默认的配置路径，不需更改。 DROP SCHEMA IF EXISTS ex1; CREATE EXTERNAL SCHEMA ex1 WITH SOURCE hive DATABASE 'demo' SERVER mrs_server METAADDRESS '***.***.***.***:***' CONFIGURATION '/MRS/gaussdb/mrs_server'

查看创建的EXTERNAL SCHEMA

SELECT * FROM pg_namespace WHERE nspname='ex1'; SELECT * FROM pg_external_namespace WHERE nspid = (SELECT oid FROM pg_namespace WHERE nspname = 'ex1'); nspid | srvname | source | address | database | confpath | ensoptions | catalog --------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- 16393 | obs_server | hive | ***.***.***.***:*** | demo | *** | | (1 row)

3.5 执行数据导入hive表

创建本地数据源表，表结构与hive一致

DROP TABLE IF EXISTS product_info_export; CREATE TABLE product_info_export ( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) ;

导入数据

从本地源表导入Hive表。

INSERT INTO ex1.product_info SELECT * FROM product_info_export;

3.6 执行数据从hive导入dws表

导入数据

从本地源表导入Hive表。

INSERT INTO product_info_orc_export SELECT * FROM ex1.product_info;

4 总结

本文主要对GaussDB(DWS)对接hiveMetaStore的原理和方式做了阐述。

点击关注，第一时间了解华为云新鲜技术~