Sqoop架构（四）-低调大师

Sqoop架构（四）

2017-11-12 580

Sqoop 架构是非常简单的，它主要由三个部分组成：Sqoop client、HDFS/HBase/Hive、Database。

下面是Sqoop 的架构图

　　（1）用户向 Sqoop 发起一个命令之后，这个命令会转换为一个基于 Map Task 的 MapReduce 作业。
（2）Map Task 会访问数据库的元数据信息，通过并行的 Map Task 将数据库的数据读取出来，然后导入 Hadoop 中。
（3）当然也可以将 Hadoop 中的数据，导入传统的关系型数据库中。
（4）它的核心思想就是通过基于 Map Task （只有 map）的 MapReduce 作业，实现数据的并发拷贝和传输，这样可以大大提高效率。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6116370.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370659

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flume特点

Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为： (1)end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。）， (2) Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送）， (3) Best effort（数据发送到接收方后，不会进行确认）。 2、可扩展性Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。 3、可管理性（1）所有agent和colletor由master统一管理，这使得系统便于维护。（2）多master情况，Flume利用ZooKeeper和gossip，保证动态配置数据的一致性。（3...

2017-11-13

563

关于作者：自从08年10月21日辞职之后到现在12-27)已经有两个月的光景，两个月的时间，说长不长，相对于100年来说，简直如兔子尾巴，不长。说短也难熬，毕竟是66个日日夜夜。在这一段时间内，作者很少来博客，更不用说和大家打声招呼，在此表示诚挚的歉意。那么，作者都干什么去了?去了比较好的公司?还是改行了？还是做坏事蹲号子了？还是…..?不用猜测，作者没有拿着原子弹去轰炸靖国神社，如果靖国神社没有了，我们到哪去去便便？也没有扛着AK47参加索马里海盗，因为妈妈说不劳而获是可耻的。作者在家研究代码来着，闭关修行，确切的说是在完善一个从05年就想完成而一直没有完成的一个心愿，就是开发一个快速的开发平台。所使用的技术是比较老的，实现的功能也是比较常见的，可以这么定义：没有新的内容，但是针对一些领域开发应用软件来讲，方便。下面就简单的介绍一下这些天的劳动结果。欢迎大家批评指正 1.平台开发背景： 1.net 的出现开发工具：基于.net的web开发软件.net framework。优点：易学，易用，上手快，快速建模，对使用者要求低。缺点：需要支付费用，后台的处理逻辑需要花时间去学习，修改...

2017-11-13

557

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sqoop架构（四）

Flume特点

快速开发平台实现结果

相关文章

发表评论

资源下载

Mario

Nacos

Spring

Rocky Linux

欢迎您来访！