CentOS7.x 安装Sqoop
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
1. 下载并解压
2. 修改配置文件
2.1 进入/sqoop/conf目录
mv sqoop-env-template.sh sqoop-env.sh
export HADOOP_COMMON_HOME=/home/fantj/hadoop/ export HADOOP_MAPRED_HOME=/home/fantj/hadoop/ export HIVE_HOME=/home/fantj/hive 2.2 配置/etc/profile
export SQOOP_HOME=/xxx/sqoop export PATH=$PATH:$SQOOP_HOME/bin 3. 加入mysql的jdbc驱动包
/hive/lib/mysql-connector-java-5.1.28.jar
4. 验证环境
sqoop-version
[root@s166 ~]# sqoop-version Sqoop 1.4.2 git commit id Compiled by ag on Tue Aug 14 18:38:15 IST 2012 
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
调度、模型、同步与任务——阿里云大数据数仓建设性能优化方案
摘要：对于阿里云大数据数仓建设性能优化而言，主要可以从调度优化、模型优化、同步优化以及任务优化这四个方面着手。其实，对于性能优化而言，最终还是会归结到“资源”之上，所以资源是否足够，分配是否合理也是我们在进行性能优化时必须考虑的关键所在。 以下内容根据演讲视频以及PPT整理而成。 本次演讲视频分享，请戳这里！ 本次演讲PPT下载，请戳这里！ 关于MaxCompute更多精彩文章，请移步云栖社区MaxCompute公众号！ 本文将主要围绕以下四个方面进行介绍：调度优化、模型优化、同步优化以及任务优化。对于调度优化而言，将分享任务调度如何进行优化，以及如何看到调度的瓶颈点，以及在初步进行建设和使用数据仓库的任务之后，对于任务如何进行调整来满足业务的时间要求。对于模型优化而言，主要包括一些优化相关的想法、建议以及技术的优化点。对于数据同步优
- 下一篇
CentOS7.x 安装Hive
1. 准备 1.1 apache-hive-2.1.0-bin.tar.gz包 1.2 mysql中创建新的数据库hive 2. 解压 3. 修改环境变量 vim /etc/profile export HIVE_HOME=xxxx export PATH=$PATH:$HIVE_HOME/bin 然后刷新配置source /etc/profile 4. 修改配置文件 首先需要下载并把mysql-connector-java-5.1.17.jar拷贝到hive/lib目录下,作为驱动要用到。 配置文件都在hive/conf目录下 4.1 hive-site.xml 更名：mv hive-default.xml.template hive-site.xml 然后搜索关键字，把下面这部分做修改 <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.27.166:3306/hive?createDatabaseIfNotExist=t...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2更换Tomcat为Jetty，小型站点的福音
- SpringBoot2初体验，简单认识spring boot2并且搭建基础工程
- Hadoop3单机部署,实现最简伪集群
- CentOS7,8上快速安装Gitea，搭建Git服务器
- CentOS7编译安装Cmake3.16.3，解决mysql等软件编译问题
- CentOS7,CentOS8安装Elasticsearch6.8.6
- 设置Eclipse缩进为4个空格，增强代码规范
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS8安装Docker，最新的服务器搭配容器使用
- CentOS7编译安装Gcc9.2.0，解决mysql等软件编译问题
微信收款码
支付宝收款码