sqoop数据迁移(基于Hadoop和关系数据库服务器之间传送数据)
1:sqoop的概述: (1):sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。(2):导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;(3):导出数据:从Hadoop的文件系统中导出数据到关系数据库 (4):工作机制: 将导入或导出命令翻译成mapreduce程序来实现;在翻译出的mapreduce中主要是对inputformat和outputformat进行定制; (5):Sqoop的原理: Sqoop的原理其实就是将导入导出命令转化为mapreduce程序来执行,sqoop在接收到命令后,都要生成mapreduce程序;使用sqoop的代码生成工具可以方便查看到sqoop所生成的java代码,并可在此基础之上进行深入定制开发; 2:sqoop安装: 安装sqoop的前提是已经具备java和hadoop的环境; 第一步:下载并解压,下载以后,上传到自己的虚拟机上面,过程省略,然后解压缩操作: 最新版下载地址:http://ftp.wayne.edu/apache/sqoop/1.4.6/ ...