hadoop生态系统的架构图（转载）-低调大师

hadoop生态系统的架构图（转载）

2017-09-11 951

转自：http://blog.csdn.net/babyfish13/article/details/52527665

1、hadoop1.0时期架构

img_8614bd617f0d79428c634b8d084dc2eb.jpe

2、hadoop2.0时期架构

img_ec70519ea7f5d4739d82c4745c940baf.jpe

3、hdfs架构

img_f4d7329280845e74e5eb968fb8cc3b57.jpe

Active Namenode

主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求

Secondary NameNode

NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active NameNode 出现故障时，快速切换为新的 Active NameNode。

Datanode

Slave（有多个）；存储实际的数据块；执行数据块读 / 写

Client

与 NameNode 交互，获取文件位置信息；与 DataNode 交互，读取或者写入数据；管理 HDFS、访问 HDFS。

4、MapReduce

源自于 Google 的 MapReduce 论文

发表于 2004 年 12 月

Hadoop MapReduce 是 Google MapReduce 克隆版

MapReduce特点

良好的扩展性

高容错性

适合 PB 级以上海量数据的离线处理

5、yarn架构

img_759297503e757e595ef10fa2d18ba866.jpe

6、hadoop1.0与hadoop2.0比较图

img_af7d764c439750244458f49155583059.jpe

7、Hive（基于MR的数据仓库）

由Facebook开源，最初用于海量结构化日志数据统计；ETL（Extraction-Transformation-Loading）工具构建在Hadoop之上的数据仓库；数据计算使用 MapReduce，数据存储使用HDFS

Hive 定义了一种类 SQL 查询语言——HQL

类似SQL，但不完全相同

通常用于进行离线数据处理（采用 MapReduce）；可认为是一个 HQL→MR 的语言翻译器

8、Hbase（分布式数据库）

源自 Google 的 Bigtable 论文

发表于 2006 年 11 月

Hbase 是 Google Bigtable 克隆版

9、Hadoop 发行版（开源版）

img_2bcb04f0e9750b01874494f6bef04224.jpe

微信关注我们

原文链接：https://yq.aliyun.com/articles/666560

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

以DVRF（路由器漏洞靶机）为例解读JEB固件漏洞利用

本文讲的是以DVRF（路由器漏洞靶机）为例解读JEB固件漏洞利用，在本文中，我将介绍JEB的MIPS反编译器是如何帮助你查找和利用嵌入式设备中的软件漏洞。 DVRF DVRF(Damn_Vulnerable_Router_Firmware) 是一个基于路由器Linksys E1550的路由器固件，里面包含了开发者写的一些存在漏洞的二进制文件，可以在路由器中安装该固件进行安全测试。 DVRF模拟了一个比较真实的环境，比较适合初学路由器漏洞挖掘，不过前提是对其他CPU架构（MIPS)有一个基本的了解。对于有兴趣挑战的读者，我建议你遵循DVRF教程，并获得完整的MIPSEL Debian QEMU映像，因为该映像可以在Linux上使用常用的漏洞开发利用工作流程，而不会对可用工具产生任何限制。 JEB JEB是一个功能强大的为安全专业人士设计的Android应用程序的反编译工具。用于逆向工程或审计APK文件，可以提高效率减少许多工程师的分析时间。具有以下4大特点： 1.全面的Dalvik反编译器 JEB的独特功能是，其Dalvik字节码反编译为Java源代码的能力。无需DEX-JAR转换...

2017-09-12

582

有十来天没发文了，实在抱歉！最近忙着录视频，同时也做了个开源的后台管理系统LeeCX，目前比较简单，但是后续会把各类技术完善。具体可以点击“原文链接”。那么今天继续说分布式系统的那些事。我们现在动不动就讲分布式吧？那么SOA是不是必须得聊一聊呢？面向服务的架构，简称SOA，他是基于服务组件的，把原来那种一个大型应用程序的不同的功能拆分为一些接口，通过这些接口串联起来。这么做的好处是： 1、重用性大大提高 2、明确了接口的服务定义规则 3、定义了自家公司的api标准 4、降低系统耦合性 5、无状态HTTP SOA不是技术也不是什么标准，他是一个架构，每个公司对SOA的架构体系都不同，有简单的也有复杂的，更有超越荣耀王者那边的微服务存在。曾经的SOA，我也参与过，那些接口设计十分复杂，用的是SOAP，数据传输通过xml来封装的，虽然那个时候我还是个新手，但是我坚信这样的不人性化的玩意迟早要被替代，如今restful风格的架构已经完全替代之。现如今不论是SOA还是微服务。我们都会利用restful风格来做，甚至我们还会定义自己的一套标准规范，强制开发人员定义的所有api接口必须走...

2017-09-12

604

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。