分布式计算Hadoop简介-低调大师

分布式计算Hadoop简介

2012-12-20 669

Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。

Hadoop框架中最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。

数据在Hadoop中处理的流程可以简单的按照下图来理解：数据通过Haddop的集群处理后得到结果。

HDFS：Hadoop Distributed File System,Hadoop的分布式文件系统。

大文件被分成默认64M一块的数据块分布存储在集群机器中。

如下图中的文件 data1被分成3块,这3块以冗余镜像的方式分布在不同的机器中。

MapReduce：Hadoop为每一个input split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record),map会将结果以key--value 的形式输出,hadoop负责按key值将map的输出整理后作为Reduce的输入,Reduce Task的输出为整个job的输出，保存在HDFS上。

Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成。

如下图所示：

NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点。

NameNode同时保存了文件系统运行的状态信息。

DataNode中存储的是被拆分的blocks。

Secondary NameNode帮助NameNode收集文件系统运行的状态信息。

JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个TaskTracker。

TaskTracker负责某一个map或者reduce任务。

转自：http://hechuanzhen.iteye.com/blog/1748106

微信公众号：猿人谷
如果您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】
如果您希望与我交流互动，欢迎关注微信公众号
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。

微信关注我们

原文链接：https://yq.aliyun.com/articles/571345

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

云计算-Hadoop两小时快速入门指南-第一部分

买了一本书《Hadoop权威指南》第二版，书写的真不错，就是思维跳跃性太大，看了没两章，是前后狂翻（没办法，他一说就是看附录A安装Hadoop，看附录C准备NCDC天气数据）附录A需要研究一下，根据自己的需求确定下来，学习阶段也就本地模式就够了，不要玩什么集群模式，浪费感情，浪费计算机资源。具体过程上网搜搜吧，好多人写，不过你需要的就是最基本的模式，只要安装Java、解压缩Hadoop，配置hadoop的bin目录到path环境变量。就可以了。集群了之类的，不要玩那些没用的，入门以后再说。我相信你30分钟都能搞好一个liunx系统，并安装jdk、解压缩hadoop，配置JAVA_HOME，和path环境变量。附录C：准备NCDC天气数据，这一章节巨崩溃，看了两天（全是下班后的业余时间）也就从它所描述的NCDC官网上下载到了我需要的测试数据，好多，看了半天本来就是测试，随便找两个温度测试站点的2年的数据合并一下作为测试数据算了。下面开始我对前两章的理解，希望给后来者能通过一晚上的时间，快速学习会第二章节的内容。 1.准备工作（30分钟） 1)科普HDFS基础命令 1，查看目录(列...

2012-12-19

960

来源：http://suxain.iteye.com/blog/1748356 hadoop 是工作在linux下的分布式系统，做为一个开发者，对于手里资源有限，不得不使用只有终端的虚拟机来运行hadoop集群。但是，在这种环境下，开发，调试就变得那么的不容易了。那么，有没有办法在windows下发调试呢。答案是肯定的。 hadoop为我们提供了一个Eclipes插件，使用我们可以在Eclipse环境下开发，调试hadoop程序，那么，应该如何安装eclipse-hadoop插件呢。下面把我的研究结果分享给大家（附上我自己编译的插件）。 1、编译eclipse-hadoop-plugins 在hadoop目录下的找到/src/contrib/eclipse-plugin，用eclipse导入该project，由于插件需要hadoop的一些JAR 文件，所以，右键单击项目->build path ->configuretion build path->libraies->add External jars 。在hadoop的目录和其lin目录找到...

2012-12-21

728

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。