利用 Cloudera 实现 Hadoop （一）-低调大师

利用 Cloudera 实现 Hadoop （一）

2017-11-20 577

前言

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。MapReduce的概念来源于Google实验室，它是一个简化并行计算的编程模型，适用于大规模集群上的海量数据处理，目前最成功的应用是分布式搜索引擎。随着2007年底该模式Java开源实现项目Apache Hadoop的出现，使得程序员可以轻松地编写分布式并行程序，并将其运行于计算机集群上，完成海量数据的计算。近两年尤其是今年国内外采用 MapReduce模型的应用也逐渐丰富起来，如像NTT KDDI和中国移动这类的电信公司采用该模型分析用户信息，优化网络配置；美国供电局采用该模型来分析电网现状；包括VISA和JP摩根在内的金融公司采用该模型来分析股票数据；包括Amazon和ebay在内的零售商和电子商务公司也开始采用该模型；甚至部分生物公司也采用该模型来进行DNA测序和分析。然而Hadoop安装、部署、管理的难度非常大，这使用很多用户对Hadoop望而却步，好在这种情况不久就得到了改善，Cloudera提供了非常简单的Hadoop的发布版本，能够十分方便地对Hadoop进行安装、部署和管理，这导致目前大约有75％的Hadoop新用户使用Cloudera。

规划

运行模式

Hadoop有三种运行模式：单机（非分布）运行模式、伪分布运行模式和分布式运行模式。其中前两种运行模式体现不了 Hadoop 分布式计算的优势，并没有什么实际意义（当然它们对程序的测试及调试还是很有帮助的），因此在这里还是采用实际环境中使用的分布式运行模式来部署。

主机规划

在这里拟采用三台主机搭建Hadoop环境，由于后期还需要测试增删主机及跨网段主机对Hadoop环境的影响，特将Hadoop主机规划如下：


Hadoop-01 10.137.253.201


Hadoop-02 10.137.253.202


Hadoop-03 10.137.253.203 准备后期加入的测试主机


Hadoop-04 10.137.253.204


Firehare-303 10.10.3.30  准备后期加入的跨网段测试主机

Hadoop环境规划

对于Hadoop来说，最主要的是两个内容，一是分布式文件系统HDFS，一是MapReduce计算模型。在分布式文件系统HDFS看来，节点分为NameNode 和DataNode，其中NameNode只有一个，DataNode可以是很多；在MapReduce计算模型看来，节点又可分为JobTracker 和 TaskTracker，其中JobTracker只有一个，TaskTracker可以是很多。因此在实际的Hadoop环境中通常有两台主节点,一台作为NameNode（I/O节点？？）,一台作为JobTracker（管理节点？？）,剩下的都是从节点，同时当做DataNode和 TaskTracker使用。当然也可以将NameNode和JobTracker安装在一台主节点上。由于测试机数量有限，所以在这里是让 Hadoop-01做为Namenode和Jobtracker，其它主机则作为DataNode和TaskTracker（如果Hadoop环境中主机数量很多的话，还是建议将Namenode和JobTracker部署到不同的主机，以提高计算的性能）。具体规划如下：

Firehare-303 TaskTracker

本文转自 firehare 51CTO博客，原文链接：http://blog.51cto.com/firehare/586507，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/405588

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

namenode双机热备之操作实践

本篇文章开始实际的集群搭建操作。最开始，是集群规划，对集群的大概样子要心中有数然后，配置drbd和pacemaker 其次，hadoop的配置，主要是指跟集群有关的配置最后才是集群资源的配置一、规划：我们的Namenode双机热备，需要哪些资源？首先，一般双节点主备方案所通用的资源：一个虚拟IP：一个drbd：一个文件系统：drbd主备节点切换时，卸载或加载相应的分区一个主从集群资源：这个资源是从drbd延伸过来的，因为drbd是两个节点上同时运行，所以要区分主从，这个资源用ms命令创建，而不是primitive 然后是特定集群中的资源，对于hadoop的namenode集群而言，资源如下：一个hdfs服务：启动namenode的hdfs的服务一个jobtracker服务：启动namenode的jobtracker服务这两个资源最好编组，比如，把这两个资源编组为hadoop，否则在写约束时比较繁杂。关于组资源：在很多案例中，人们使用group命令把虚拟IP和其它运行于DRBD主节点之上的服务（如文件系统、apache或mysql等）进行编组，这样可以简化...

2017-11-20

645

在调试环境下，咱们用hadoop提供的shell接口测试增加删除查看，但是不利于复杂的逻辑编程查看文件内容 www.xiaorui.cc 用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库 1 2 3 4 5 6 7 import pyhdfs fs = pyhdfs.connect( "192.168.1.1" , 9000 ) pyhdfs. get (fs, "/rui/111" , "/var/111" ) f = pyhdfs.open(fs, "/test/xxx" , "w" ) pyhdfs.write(fs, f, "fuck\0gfw\n" ) pyhdfs.close(fs, f) pyhdfs.disconnect(fs) pyhdfs的安装过程很吐血 1 2 3 4 5 6 7 svn checkout http: //libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs cd libpyhdfs cp /usr/lib/hadoop- 0.20 /hadoop-core- 0.20 . 2 -c...

2017-11-21

502

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。