hadoop,我来啦。。。~~
粘粘自喜的成功页面:
找到一个STEP的网站,可以慢慢进着演练啦。。
http://www.cnblogs.com/xia520pi/category/346943.html
HADOOP官网:
http://hadoop.apache.org/
跟着时代的步伐,感觉真好。。。:)
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
同时开启JAVA学习记录
大概翻了一下HADOOP的资料。 好像会点JAVA语法,更能深入了争MAP和REDUCE过程。 那只好再开启这个JAVA了。 印象中,大学时,上世纪九十年代,我就买过类似JAVA的书,但一直是当新奇玩意看,从未到现在这样触及IT心脏的了解过它。 去年,也简短的涉及过,由于没有应用目标,也是草草看过了事。 现在从浅到深,再慢慢来过中。 以网上PDF《JAVA基础教程-JAVA快车》为蓝本,先慢慢干起来。。
- 下一篇
MongoDB 2.4企业版分析
版权声明:本文为博主chszs的原创文章,未经博主允许不得转载。 https://blog.csdn.net/chszs/article/details/8696831 MongoDB 2.4企业版分析 作者:chszs,转载需注明。博客主页:http://blog.csdn.net/chszs MongoDB v2.4版于3月19日发布,它引入了内置的文本搜索功能,以及基于哈希的分片和众所期盼的安全特性。 同时,10gen公司发布了MongoDB的企业版,它在开源版的基础上增加了安全和监控的特性,易于与其它企业软件相集成。 缺乏安全使得NoSQL技术广受批评。MongoDB企业版增加了基于角色的访问控制,这意味着用户的权限能得到更好的控制,还可以选择需要客户端提供签名的SSL证书。MongoDB企业版还支持Kerberos认证。 MongoDB的文本搜索作为其新功能之一,被视为“基本”的功能。但它并不意味着是Solr和Lucene的替代。 对于基于哈希的分片,可以确保MongoDB在大集群的分片下,读和写的分布相对均匀。而“working set size analyser”分析工具...
相关文章
文章评论
共有0条评论来说两句吧...