Hadoop掀起大数据革命三巨头齐发力-低调大师

Hadoop掀起大数据革命三巨头齐发力

2017-08-31 502

本文讲的是 Hadoop掀起大数据革命三巨头齐发力, 开源的数据处理平台凭借其低成本、高扩展性和灵活性的优势已经赢得了多数网络巨头的认可。现在Hadoop将进入更多企业。IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。上个月Oracle和Microsoft也分别透露了将计划在明年发布基于Hadoop的产品。两家公司都计划提供协助部署服务和企业级支持。Oracle已经承诺将会在大数据设备中预装Hadoop软件。

　　大数据革命正以Apache Hadoop为中心如火如荼的进行着。自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。但在过去的18个月中，Hadoop赢得了客户的认可，并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。在众多厂商之中最著名的三个商业数据供应商当属Oracle、IBM和Microsoft。

　　Hadoop会在未来成为大数据的重大技术吗?

　　Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。Hadoop在很大程度上是受Google在2004年白皮书中阐述的MapReduce的技术启发。MapReduce工作原理是将任务分解为成百上千块的小任务，然后发送到计算机集群中。每台计算机再传送会自己那部分信息，MapReduce则迅速整合这些反馈并形成答案。

　　Hadoop的扩展性非常优秀，Hadoop可处理分布在数以千计的低成本X86服务器计算节点中的大型数据。同时由于众所周知的摩尔定律，内存和磁盘的容量也在不断增长。Hadoop对硬件的支持也在加强，现在每个节点可部署16核的处理器，12TB甚至24TB磁盘。Cloudera透露其推出的产品每个节点的成本大约4000美元。这个价格对于关系数据库部署每TB 10000至12000美元来说极具竞争优势。

　　这种高容量低成本的组合引人注目，但Hadoop最吸引人的是其处理混合数据类型的能力。

　　Hadoop可以管理结构化数据，以及诸如服务器日志文件和Web点击流的数据。同时还可以管理以非结构化文本为中心的数据，如Facebook和Twitter。这种处理多类型数据的能力非常重要。它催生了NoSQL平台和产品。如Cassandra, CouchDB, MongoDB以及Oracle最新的NoSQL数据库。而传统关系型数据库如Oracle，IBM DB2，Microsoft SQL Server和MySQL则都不能处理混合数据类型和非结构化数据。由于事务处理灵活性的需求，Hadoop获得大多数数据分析厂商的关注和支持。

　　Hadoop已被广泛应用

　　现今，Hadoop已被认为是非结构化数据的专用技术。低成本、高扩展性和灵活性等优势已成为处理大规模点击流量分析和广告定位等网络巨头(如AOL和comScore)的首选。

　　AOL三年多时间一直使用Hadoop。AOL的研发团队在加利福尼亚州的Mountain View部署了300节点的系统，该系统可以存储每天数十亿事件和超过500TB的点击流数据。点击所带来流数据是高度结构化的，但数据量是非常庞大和多样的。所以几乎不可能处理所有的提取、转换和负载工作。AOL为了解决以上问题决定使用Hadoop MapReduce处理分布在数百个计算节点的数据过滤和关联任务。由于Hadoop为业务带来的优势，AOL的Hadoop研发团队在今年四月在其总部部署了700节点的系统。

　　Hadoop适用于所有类型数据的特性注定将使Hadoop在更广泛的领域使用。例如提供托管服务和中小型企业应用服务提供商SunGrad。他们将计划推出基于云的托管服务，旨在帮助金融服务公司处理他们基于Hadoop MapReduce的数据处理。

　　商用软件厂商Tidemark最近也推出一款SaaS软件，这种基于云的性能管理应用使用MapReduce将混合数据源转化为产品或金融规划方案。

　　三巨头大数据领域齐发力

　　在上月美国拉斯维加斯举行IOD年度大会上IBM院士、DB2总架构师Curt Cotner宣布IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。他还表示未来的数据库发展方向是非关系数据库NoSQL。目前Google的BigTable和Amazon的Dynamo都用NoSQL型数据库，而传统的关系数据库在应付超大规模、高并发的SNS、web2.0网站已经力不从心。同时IBM发布了一系列数据分析软件，包括云计算版本的InfoSphere BigInsights。BigInsights是一套建立在Hadoop上的数据分析软件，能够处理企业用户收集大量非结构化资料。

　　微软也在10月12日在西雅图举行的SQL PASS 2011峰会宣布将与从雅虎分拆出来的Hortonworks合作开发Hadoop，并将在Apache Hadoop上实现搭建Windows Azure以及Windows Server平台。同时基于Hadoop的Windows Server还会与微软现有的BI工具联合处理任务。

　　Oracle作为全球最大的关系型数据库提供商也有所行动。其在2011 Oracle全球大会上推出了Big Data Appliance。Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。

　　Hadoop的未来

　　根据目前的状况来看，Hadoop作为企业级数据仓库体系结构核心技术，在未来的数年中将会保持持续增长的势头。包括MapR、Zettaset、Cloudera、HStreaming、Hadapt、DataStax、Datameer这些与Hadoop相关的新公司已经获得投资，为人们所熟知，为各种市场带来最新技术。

　　与此同时下一代的MapReduce会完善很多之前不尽人如意的地方。首先节点数将从目前的4000增加到6000-10000，其次并发的任务数从目前的40000增加到100000。另外将继续加大对硬件支持，同时架构也会有所改变，包括更多编程模式的支持。

作者：王玉圆

来源： IT168

原文标题：Hadoop掀起大数据革命三巨头齐发力

微信关注我们

原文链接：https://yq.aliyun.com/articles/221531

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ApsaraDB for HBase - 规格的的选择

引言最近有一些客户在选择云HBase的规格时，往往比较迷糊，规格这么多，磁盘这么多，怎么选择呢？往往客户会有一定的迷糊。这里我们介绍下一些选择的逻辑，也预告下后续推出的规格。选择的逻辑 HBase支持的场景比较多，所以我们能力开放出来，让客户根据自己的业务形态选择。我们一般衡量业务特征有很多标准，比如 QPS、存储量、读写请求、相应延迟，稳定性相关。在选择 ApsaraDB for HBase 时，我们看到有SSD云盘、高效云盘、独享规格、通用规格，还有4cpu8g 到 32cpu128g等等，后续可能会有更多（参见预告）磁盘维度： SSD云盘比高效云盘，更加稳定，且对读有更好的性能，特别是随机读独享通用规格：独享比通用更加稳定，也就是24个小时内，独享这些资源，价格更加贵一些规格大小： 4cpu8g属于入门版本，规格大一些对于热点有更

2017-09-01

584

自1885年第一座摩天大厦在美国芝加哥诞生起，人们就开始聚集到一块协作办公。100多年过去了，从固定电话、留声机、电脑、手机、到协作终端等科技产品的发明，都促使公司环境和工作方式发生了巨大的变化。「1900-1950，电话只为少数人服务」目前仍被大多数公司沿用的程式化办公环境，其实源于19世纪末诞生的泰勒科学管理理论。当时欧洲正逢第一次工业革命爆发，随着工厂壮大，如何管理工人、提高员工效率是泰勒理论输出的最核心目的。机械地重复劳作的打字女工们，是现代白领的雏形。直到20世纪初，企业开始从工艺经济向资本经济转型，这种情况才有所好转。新的组织管理理论应运而生，而划时代的新通讯工具——电话和留声机也都逐步被运用到企业协作中。但当时只有公司内部最权威的领导，才有资格使用。「1950-1980，科技民主化促进办公协作」二战期间，应战时需要，西方政府开发出了能够高速、高效处理大量信息的系统。在战争结束后，这项技术也被商业领袖们吸纳入企业协作中，用来加快程式化的工作，催生了打孔卡和数据输入等协作手段的发明。信息时代始于打孔卡同时，科技的使用群体也越来越广泛。电话和多线路电话成为许多...

2017-09-01

556

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。