阿里云AnalyticDB数据导出到E-MapReduce实践
阿里云的分析型数据库(AnalyticDB)和E-MapReduce(简称EMR)在大数据场景下非常有用,本文将介绍如何尝试打通两个产品,将通过EMR中自带的开源工具Sqoop来完成这个任务。
AnalyticDB数据准备
在DMS For Analytic DB控制台可以新建数据库和表。数据库和表名分别是:
- 数据库:test_emr_0
- 数据表:test1(注意新建表的时候选择更新方式为“实时更新”,这样就可以在DMS里增加数据)
CREATE TABLE test_emr_0.test1 (
a varchar NOT NULL ,
b int NOT NULL ,
primary key (a)
)
PARTITION BY HASH KEY(a) PARTITION NUM 100
TABLEGROUP test_group