HiC2011：四大企业NameNode优化思路-低调大师

HiC2011：四大企业NameNode优化思路

2017-09-04 549

文章讲的是 HiC2011：四大企业NameNode优化思路， 2011年12月2日、3日，Hadoop in China 2011大会，在北京会议中心隆重召开，本次大会以“海量数据掘宝”为主题，吸引了千余名来自国内外的hadoop专家和企业用户，这也意味着Hadoop的蓬勃发展趋势已经不可阻挡。

▲点击查看IT168视频直播专题

　　下午分会场一《Hadoop生态系统》的圆桌讨论的以如何优化NameNode的性能为主题，来自ebay、淘宝、百度、中科院计算所的专家分别介绍了不同的NameNode的优化思路。

　　eBay：高可靠性

　　eBay对于NameNode的可靠性需求比较高，比如任何一个NameNode死掉的时候，Cluster集群都需要继续正常工作，因此，Master NameNode需要故障转移到任何一个冗余的NameNode，所有的冗余NameNode失败都不能影响到Name Node服务；冗余NameNode可以随时加入到集群中等等。

▲

　　淘宝：从单NameNode到多NameNode

　　来自淘宝的罗李表示，淘宝有一个很大集群，很大的数据、文件，现在存在一些问题，比如说刚刚重启的时候会有一段很长时间的准备时间，对于在线业务或其他的紧急作业无法及时处理。所要做的事情是从单NameNode到多NameNode，每一个NameNode没有主从结构，把NameNode内存里面所有的结构全部都实体化。

　　百度：HDFS2——HDFS的一种分布式NameNode实现

　　当时启动项目的时候的宏伟目标在很短时间内达到一万台集群的规模，是什么因素限制可可扩展？主要有两个方面，最重要的就是内存，其次就是吞吐量的压力。通过一个对象管理层，把文件看做对象，对象底层的东西如Owner等独立出来。

原文发布时间为：2011-12-02

本文作者：唐蓉

本文来自云栖社区合作伙伴IT168，了解相关信息可以关注IT168。

微信关注我们

原文链接：https://yq.aliyun.com/articles/223839

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop掌门人：Hadoop开启数据处理革命

文章讲的是 Hadoop掌门人：Hadoop开启数据处理革命， 2011年12月2日、3日，Hadoop in China 2011在北京会议中心成功举办。本次大会以“海量数据掘宝”为主题，吸引了来自世界各地的一千余名关注Hadoop的专家、开发者和使用者。【点击查看IT168视频直播专题】本次大会最大的亮点就是Hadoop的创始人Doug Cutting亲临大会现场助阵。同时，IT168作为本次大会的协办方，在现场采访到了Doug Cutting。在采访中，Doug Cutting分享了他对于使用Hadoop的企业的建议，谈到了开发者如何更好地贡献Hadoop社区，并介绍了他所专注的Avro项目如何让不同语言编写的应用程序实现互操作；同时，他还谈及了自己从Yahoo!到Cloudera所遇到的挑战，最后，作为Hadoop之父，Doug Cuttin畅想了Hadoop在未来5到10年的发展前景和对Hadoop的期望。 ▲Hadoop创始人Doug Cutting正在接受IT168视频采访【点击查看采访视频】 IT168：欢迎来到IT168，首先请跟我们的网友打个招呼好吗? Dou...

2017-09-05

675

文章讲的是 Hadoop必将风靡2012年的六个理由，毫无疑问，Hadoop已经赢得了大量投资者和IT媒体的青睐，但却很少看到任何的实际产出。即将过去的2011是风暴来袭前的准备阶段，为很多新公司新用户建立了一个海量数据的分析平台。就连微软这样的互联网巨头都已放弃其他平台而选择Hadoop，看来Hadoop风暴来袭已指日可待。 ▲2011年Hadoop in China大会专题 2012年，Hadoop必将风靡世界。以下是六个具体的理由： 1.投资者看好Hadoop 目前，投资者十分看好Hadoop，并开始纷纷投资相关技术。从分布式层面上来说，Hadoop开源软件整体方案供应商Cloudera已获得7600万美元投资，分布式架构新成员MapR和Hortonworks分别融资2900万美元和5000万美元;而从栈的层面上来看，Hadoop海量数据分析平台Datameer、 Karmasphere和Hadapt已分别获得了1000万美元左右投资。大量专注这一技术的初创公司(如Zettaset、Odiago和Platfora等)更是如雨后春笋般迅速涌现。另外，投资机构Accel Partn...

2017-09-05

508

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。