HiC2011：四大企业NameNode优化思路-低调大师

HiC2011：四大企业NameNode优化思路

2017-09-04 537

文章讲的是 HiC2011：四大企业NameNode优化思路， 2011年12月2日、3日，Hadoop in China 2011大会，在北京会议中心隆重召开，本次大会以“海量数据掘宝”为主题，吸引了千余名来自国内外的hadoop专家和企业用户，这也意味着Hadoop的蓬勃发展趋势已经不可阻挡。

▲点击查看IT168视频直播专题

　　下午分会场一《Hadoop生态系统》的圆桌讨论的以如何优化NameNode的性能为主题，来自ebay、淘宝、百度、中科院计算所的专家分别介绍了不同的NameNode的优化思路。

　　eBay：高可靠性

　　eBay对于NameNode的可靠性需求比较高，比如任何一个NameNode死掉的时候，Cluster集群都需要继续正常工作，因此，Master NameNode需要故障转移到任何一个冗余的NameNode，所有的冗余NameNode失败都不能影响到Name Node服务；冗余NameNode可以随时加入到集群中等等。

▲

　　淘宝：从单NameNode到多NameNode

　　来自淘宝的罗李表示，淘宝有一个很大集群，很大的数据、文件，现在存在一些问题，比如说刚刚重启的时候会有一段很长时间的准备时间，对于在线业务或其他的紧急作业无法及时处理。所要做的事情是从单NameNode到多NameNode，每一个NameNode没有主从结构，把NameNode内存里面所有的结构全部都实体化。

　　百度：HDFS2——HDFS的一种分布式NameNode实现

　　当时启动项目的时候的宏伟目标在很短时间内达到一万台集群的规模，是什么因素限制可可扩展？主要有两个方面，最重要的就是内存，其次就是吞吐量的压力。通过一个对象管理层，把文件看做对象，对象底层的东西如Owner等独立出来。

原文发布时间为：2011-12-02

本文作者：唐蓉

本文来自云栖社区合作伙伴IT168，了解相关信息可以关注IT168。

微信关注我们

原文链接：https://yq.aliyun.com/articles/223839

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop掌门人：Hadoop开启数据处理革命

文章讲的是 Hadoop掌门人：Hadoop开启数据处理革命， 2011年12月2日、3日，Hadoop in China 2011在北京会议中心成功举办。本次大会以“海量数据掘宝”为主题，吸引了来自世界各地的一千余名关注Hadoop的专家、开发者和使用者。【点击查看IT168视频直播专题】本次大会最大的亮点就是Hadoop的创始人Doug Cutting亲临大会现场助阵。同时，IT168作为本次大会的协办方，在现场采访到了Doug Cutting。在采访中，Doug Cutting分享了他对于使用Hadoop的企业的建议，谈到了开发者如何更好地贡献Hadoop社区，并介绍了他所专注的Avro项目如何让不同语言编写的应用程序实现互操作；同时，他还谈及了自己从Yahoo!到Cloudera所遇到的挑战，最后，作为Hadoop之父，Doug Cuttin畅想了Hadoop在未来5到10年的发展前景和对Hadoop的期望。 ▲Hadoop创始人Doug Cutting正在接受IT168视频采访【点击查看采访视频】 IT168：欢迎来到IT168，首先请跟我们的网友打个招呼好吗? Dou...

2017-09-05

647

文章讲的是 Hadoop必将风靡2012年的六个理由，毫无疑问，Hadoop已经赢得了大量投资者和IT媒体的青睐，但却很少看到任何的实际产出。即将过去的2011是风暴来袭前的准备阶段，为很多新公司新用户建立了一个海量数据的分析平台。就连微软这样的互联网巨头都已放弃其他平台而选择Hadoop，看来Hadoop风暴来袭已指日可待。 ▲2011年Hadoop in China大会专题 2012年，Hadoop必将风靡世界。以下是六个具体的理由： 1.投资者看好Hadoop 目前，投资者十分看好Hadoop，并开始纷纷投资相关技术。从分布式层面上来说，Hadoop开源软件整体方案供应商Cloudera已获得7600万美元投资，分布式架构新成员MapR和Hortonworks分别融资2900万美元和5000万美元;而从栈的层面上来看，Hadoop海量数据分析平台Datameer、 Karmasphere和Hadapt已分别获得了1000万美元左右投资。大量专注这一技术的初创公司(如Zettaset、Odiago和Platfora等)更是如雨后春笋般迅速涌现。另外，投资机构Accel Partn...

2017-09-05

489

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。