Sqoop 是什么？（二）-低调大师

Sqoop 是什么？（二）

2017-11-05 633

Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。
Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面：
1、将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。
2、将数据从 Hadoop 系统里抽取并导出到关系型数据库。
Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度。也就是说 Sqoop 的导入和导出功能是通过 MapReduce 作业实现的。
所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

　　1、sqoop 名字的来源：SQL-to-Hadoop

　　2、我们可以把它看做成连接传统数据库和Hadoop的桥梁

　　　　1）把关系型数据库中的数据（MySQL）导入到hadoop或者与其相关的系统比如HDFS 、hive 、Hbase

　　　　2）把hadoop中的数据抽取出来，导入到关系型数据库中

　　3、它的设计思想就是：利用MapReduce加快数据传输速度

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6116321.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/369884

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase踩过的坑——持续更新

1.HBase数据热点问题问题描述：在某一个时刻，电池数据表的以某些规则开头的数据，比如M12******，这些电池一直在上报数据，由于HBase的存储是按照字典顺序排序的，所有某一时刻，相似规则的数据落在了同一个region上，造成了数据热点。解决方法：我们采取的是rowkey散列+预分区的方式：http://student-lp.iteye.com/blog/2309075 在建表的时候，按照字典顺序，随机生成一批startkey和endkey的集合，这些集合按照字典顺序排列，写入数据的时候，将要写入的【key_时间戳】前面加上哈希前缀，形成【三位哈希值_key_时间戳】方式，将写入数据的压力分散开。 2.HBase插入数据过慢问题问题描述：历史数据的消费过程，就是把数据写入HBase的过程，但是写入HBase过慢，容易造成消费不过来，产生数据堆积，由于数据堆积，会影响Kafka拉取数据消费发送心跳的超时。解决方法： 1， HBase写操作尽量采用批量写入操作； 2，禁用预写日志：put.setDurability(Durability.SKIP_WAL)...

2017-11-05

666

　 Storm的雪崩问题的解决办法1： Storm概念学习系列之并行度与如何提高storm的并行度 Storm的雪崩问题的解决办法2: 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7250638.html，如需转载请自行联系原作者

2017-11-05

666

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。