Sqoop安装
Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。
其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
这篇文章记录了配置sqoop的步骤。在实验过程中,遇到了一些ERROR,反复百度也没有找到解决方法。最后,把sqoop安装文件夹删除,wget原始文件,重头配置了一遍,一切都OK了。还是“重装”最好用。
一、下载sqoop 1.4.7
如图,下载地址很好找。本文还是用sqoop1。
下载页面下有两个链接,使用sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,包含hadoop支持。不要用sqoop-1.4.7.tar.gz。
二、下载mysql-connector-java
到mysql官网查找mysql-connector/j,下载mysql服务器对应版本5.1.x,platform independent版。
解压之后,拷贝一下两个文件到sqoop安装目录lib.
三、修改配置
添加环境变量
export SQOOP_HOME="/opt/sqoop" export PATH=$SQOOP_HOME/bin:$PATH
主要配置文件sqoop/config/sqoop-env.sh,设置hadoop路径。
#Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/opt/hadoop-2.7.3 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.3
四、测试
bin/sqoop-list-databases --connect jdbc:mysql://mysql1:3306 --username shell --password 123456
Please set ACCUMULO_HOME to the root of your Accumulo installation.
18/09/05 09:01:47 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
18/09/05 09:01:47 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
18/09/05 09:01:47 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema
Alibaba
db
hadooptrain
metastore
mysql
performance_schema
test
测试成功!
五、总结
第一次安装之后出现问题,各种百度,各种试,最后按标准流程做了一遍,测试通过。
总结这种方法,仔细读手册,掌握官方jar下载路径。
NoClassDefFoundError: org/apache/avro/LogicalType
这个问题出现了,没有解决,希望再遇到的同学和我一样,按官方jar下载重装解决。
我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Flink: 快速构建统一的实时日志平台
本文围绕一个中型电商/互联网公司涉及到日志的复杂系统运维、业务运营问题,使用Flink+Kafka+HBase+ES四套系统,告诉读者如何在一家中型互联网公司里面快速构建一套实时日志平台。 背景 最近在维护一个日志的项目,这个项目是负责收集、处理、存储、查询商家相关操作的日志,我们这里就叫它“商家日志”。在日常的开发过程中,可能我们对日志这个词并不陌生,例如我们常接触到的log4j、slf4j等等,这些日志工具通常被我们用来记录代码运行的情况,当我们的系统出了问题时,我们可以通过查看日志及时的定位问题的所在,从而很快的解决问题,今天我所讲的商家日志,又与这个有些许的不同,商家日志是用来记录商家对系统各个功能的操作情况,例如:张三这个商家对它的店铺的某款商品进行了价格的修改。这样在我们这就会记录下一条日志在我们的系统当中,在这个系统中的
- 下一篇
PySpark安装+Jupyter Notebook配置(Ubuntu 18.06)
学校一门Big Data Computing需要学习Spark in Python。 这篇文章记录一下安装PySpark和Jupyter Notebook上运行Spark的步骤。 Prerequisite 我的系统是:Ubuntu 18.06 LTS 已经装好了python2和3(如果没有可以看看这个链接) 装好了jupyter notebook,没有的话自行google吧 装了Java 8或更高版本的Java(没有,也可以看看这个链接) PySpark Installation Steps 1.去Spark downloads page.选择最新的Spark Release包(a prebuilt package for Hadoop), 然后直接下载。我现在的版本是Spark 2.3.1 (Jun 08 2018)。 去到下载文件夹,将文件移到home目录下并解压 $ cd Downloads $ mv spark-2.3.1-bin-hadoop2.7.tgz ~/ $ tar -zxf spark-2.3.1-bin-hadoop2.7.tgz 3.声明一下环境变量 $ sud...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS关闭SELinux安全模块
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- 设置Eclipse缩进为4个空格,增强代码规范
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7安装Docker,走上虚拟化容器引擎之路