第 18 章 Apache Sqoop-低调大师

第 18 章 Apache Sqoop

2018-01-02 569

18.1. 安装 Sqoop

18.2. sqoop2-tool

18.2.1. verify
18.2.2. upgrade

18.3. sqoop2-shell

18.3.1. show version

18.3.2. set

18.3.2.1. server
18.3.2.2. 要设置可查看具体出错信息

18.3.3. show connector

18.3.4. link

18.3.4.1. hdfs-connector
18.3.4.2. generic-jdbc-connector

18.3.5. job

18.3.5.1. create job
18.3.5.2. show job
18.3.5.3. start job
18.3.5.4. status job

18.3.6. update

18.3.6.1. link

18.4. FAQ

18.4.1. Unable to load native-hadoop library for your platform

18.1. 安装 Sqoop

OSCM 一键安装

curl -s https://raw.githubusercontent.com/oscm/shell/master/database/apache-sqoop/sqoop-1.99.7-bin-hadoop200.sh | bash

启动 Sqoop

/srv/apache-sqoop/bin/sqoop.sh server start

检查 Sqoop 线程

		
[hadoop@netkiller ~]$ jps
2512 SecondaryNameNode
23729 SqoopJettyServer
2290 DataNode
871 ResourceManager
23885 Jps

原文出处：Netkiller 系列手札
本文作者：陈景峯
转载请与作者联系，同时请务必标明文章原始出处和作者信息及本声明。

微信关注我们

原文链接：https://yq.aliyun.com/articles/329841

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

17.5. FAQ

17.5.1.adoop.security.authorize.AuthorizationException): User: hadoop is not allowed to impersonate anonymous 编辑 /srv/apache-hadoop/etc/hadoop/core-site.xml 文件，增加如下配置，这里使用 * 匹配，你可以根据实际需要修改。 <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> <description>Allow the superuser oozie to impersonate any members of the group group1 and group2</description> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name...

2018-01-03

702

18.2.1.verify [hadoop@iZj6ciilv2rcpgauqg2uuwZ ~]$ sqoop2-tool verify Setting conf dir: /srv/apache-sqoop/bin/../conf Sqoop home directory: /srv/apache-sqoop Sqoop tool executor: Version: 1.99.7 Revision: 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb Compiled on Tue Jul 19 16:08:27 PDT 2016 by abefine Running tool: class org.apache.sqoop.tools.tool.VerifyTool 0 [main] INFO org.apache.sqoop.core.SqoopServer - Initializing Sqoop server. 6 [main] INFO org.apache.sqoop.core.PropertiesConfigurationProvider...

2018-01-03

514

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。