Sqoop从mysql抽取数据到hive中

2017-11-14 642

应用场景

当我们部署搭建完sqoop后，之前的数据都放到了mysql中，现在我们需要把mysql中的数据抽取到hive中，那通过sqoop该如何操作呢？

操作步骤

1. 准备mysql上需要抽取的数据

比如test库中的test表

2. 在主节点连接hive，并在其中创建库名【以test举例】

3. 在namenode节点运行sqoop命令进行导入

 # sqoop import --connect jdbc:mysql://192.168.210.70:3306/test?characterEncoding=UTF-8 --table test --username root -password 11111 --fields-terminated-by ',' --hive-import --hive-database test  -m 1

4. 结果验证

微信关注我们

原文链接：https://yq.aliyun.com/articles/625661

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Linux rsync数据同步命令解析

rsync命令 rsync有六种不同的工作模式： 1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。 rsync -a /data /backup 2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。 rsync -avz *.c foo:src 3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。 rsync -avz foo:src/bar /data 4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。 rsync -av root@192.168.1.2::www /databack 5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。 rsync -av /databack root@192.168.1.2::www 6)列远程机的文件列表。这类似于rsync传输，不过只...

2017-11-15

548

接上篇后续配置一.配置环境 redhat6.5 server1 172.25.29(50).1 hadoop master nfs server2 172.25.29(50).2 zookeeper nfs server3 172.25.29(50).3 zookeeper nfs server4 172.25.29(50).4 zookeeper nfs server5 172.25.29(50).5 高可用备机 nfs 使用 nfs 共享同步配置文件，之前配置好java运行环境二.Hadoop name node节点高可用配置 1.配置Zookeeper 集群，至少三台 2.在各节点启动zookeeper发现服务 3.Hadoop 配置编辑 hdfs-site.xml 文件: <configuration>  <property> <name>dfs.nameservices</name...

2017-11-15

568

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。