Sqoop 是什么？（二）-低调大师

Sqoop 是什么？（二）

2017-11-05 586

Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。
Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面：
1、将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。
2、将数据从 Hadoop 系统里抽取并导出到关系型数据库。
Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度。也就是说 Sqoop 的导入和导出功能是通过 MapReduce 作业实现的。
所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

　　1、sqoop 名字的来源：SQL-to-Hadoop

　　2、我们可以把它看做成连接传统数据库和Hadoop的桥梁

　　　　1）把关系型数据库中的数据（MySQL）导入到hadoop或者与其相关的系统比如HDFS 、hive 、Hbase

　　　　2）把hadoop中的数据抽取出来，导入到关系型数据库中

　　3、它的设计思想就是：利用MapReduce加快数据传输速度

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6116321.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/369884

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase踩过的坑——持续更新

1.HBase数据热点问题问题描述：在某一个时刻，电池数据表的以某些规则开头的数据，比如M12******，这些电池一直在上报数据，由于HBase的存储是按照字典顺序排序的，所有某一时刻，相似规则的数据落在了同一个region上，造成了数据热点。解决方法：我们采取的是rowkey散列+预分区的方式：http://student-lp.iteye.com/blog/2309075 在建表的时候，按照字典顺序，随机生成一批startkey和endkey的集合，这些集合按照字典顺序排列，写入数据的时候，将要写入的【key_时间戳】前面加上哈希前缀，形成【三位哈希值_key_时间戳】方式，将写入数据的压力分散开。 2.HBase插入数据过慢问题问题描述：历史数据的消费过程，就是把数据写入HBase的过程，但是写入HBase过慢，容易造成消费不过来，产生数据堆积，由于数据堆积，会影响Kafka拉取数据消费发送心跳的超时。解决方法： 1， HBase写操作尽量采用批量写入操作； 2，禁用预写日志：put.setDurability(Durability.SKIP_WAL)...

2017-11-06

623

　 Storm的雪崩问题的解决办法1： Storm概念学习系列之并行度与如何提高storm的并行度 Storm的雪崩问题的解决办法2: 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7250638.html，如需转载请自行联系原作者

2017-11-06

621

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。