Yahoo的新一代大数据技术架构解析-低调大师

Yahoo的新一代大数据技术架构解析

2017-04-02 803

Hadoop是当前最流行的大数据技术架构，很多大数据应用都是建立在Hadoop平台基础之上。很多人都知道Hadoop是Apache基金会的顶级开源项目，但并不是每个人都知道，在Hadoop的演进发展中，70%的贡献是来自Yahoo公司。

Yahoo公司是Hadoop平台最大的用户、最有力的应用支持者和Hadoop商业化的重要推动者，Hadoop一直是Yahoo公司云计算平台的核心，Yahoo公司最大的单个Hadoop集群由4000个节点组成，Yahoo公司的推荐系统、广告分析等应用均建立在Hadoop分布式计算平台上，Yahoo公司通过开发者论坛等方式每年培养了大量掌握Hadoop平台的专业技术人员，Yahoo公司分拆出来并投资的Hadoop技术研发部门－Hortonworks目前是全球发展最快的Hadoop商业化公司之一。Yaho

微信关注我们

原文链接：https://yq.aliyun.com/articles/74893

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop 2终问世：大数据向前迈出一大步

Apache软件基金会终于推出了最新的Hadoop 2数据分析平台。Hadoop 2通过支持YARN数据处理和服务引擎，增强了它的计算引擎，同时为Hadoop File System (HDFS)添加高可用特性。尽管一些Hadoop发行版中已经对HDFS进行了升级，例如Cloudera，而且一些公司如Pivotal也提供YARN支持有半年的时间了，但是Apache公开发布这个版本将为用户处理数据提供更强的信心。 Pivotal公司首席科学家Milind Bhandarkar表示：“全面发布的功能特性让用户能够确保这些面向用户的API和YARN协议是稳定的，在Hadoop下一代主要版本出现之前不会发生变化，这也是的仍然更放心地构建应用和使用这些API。” YARN带来了巨大的改变，改变了Hadoop计算组件（MapReduce）切分和重

2017-04-02

629

随着大数据处理时代的到来，NoSQL风生水起。京东作为国内最大的综合网络零售商，随着业务数据量爆发式增长，传统的关系数据库在海量数据面前开始显得捉襟见肘，于是京东云平台在Hadoop生态集群经验积累的基础上，引入了HBase作为海量数据存储的基础设施。虽然引入时间不长，但京东数十个业务系统已经使用了HBase，包括实时在线业务、离线批量计算业务、批量导入兼在线访问等业务类型。为了提高资源利用率，多个业务系统可能复用一个HBase集群。而开源的HBase处于发展期，业务之间的存储和访问产生了一些干扰和冲突。于是，为了应用到生产环境尤其是在线业务系统中，京东第一阶段对HBase进行了完善，并根据京东需求做出了自己的创新。这些完善和创新包括： 1.实现了权限管理模块。多个业务系统之间存在的数据安全隐患，且业务系统可以随意进行创建表等DDL

2017-04-02

672

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。