大数据利器Hadoop的应用现状和发展趋势-低调大师

大数据利器Hadoop的应用现状和发展趋势

2017-09-27 543

本文讲的是大数据利器Hadoop的应用现状和发展趋势,Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS，Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成分布式系统;MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoop轻松地组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。

　　Hadoop的历史

　　Hadoop的源头是Apache Nutch，该项目开始于2002年，是Apache Lucene 的子项目之一。2004年，Google在“操作系统设计与实现”(OSDI，Operating System Design and Implementation)会议上公开发表了题为“MapReduce：Simplified Data Processing on Large Clusters”(MapReduce：简化大规模集群上的数据处理)的论文，之后受到启发的Doug Cutting等人开始尝试实现MapReduce计算框架，并将它与NDFS(Nutch Distributed File System)结合，以支持Nutch引擎的主要算法。由于NDFS和MapReduce在Nutch引擎中有着良好的应用，所以它们于2006年2月被分离出来，成为了一套完整而独立的软件，起名为Hadoop。到了2008年年初，Hadoop已成为 Apache的顶级项目，它被包括Yahoo!在内的很多互联网公司所采用。现在，Hadoop已经发展成为包含HDFS、MapReduce、Pig、ZooKeeper等子项目的集合，用于分布式计算。

　　Hadoop的功能与作用

　　我们为什么需要Hadoop呢?众所周知，现代社会的信息量增长速度极快，这些信息里又积累着大量的数据，其中包括个人数据和工业数据。预计到2020年，每年产生的数字信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理，以获取更多有价值的信息。那么我们如何高效地存储和管理这些数据，如何分析这些数据呢?这时可以选用Hadoop系统，它在处理这类问题时，采用了分布式存储方式，提高了读写速度，并扩大了存储容量。采用MapReduce来整合分布式文件系统上的数据，可保证分析和处理数据的高效。与此同时，Hadoop还采用存储冗余数据的方式保证了数据的安全性。

　　Hadoop中HDFS的高容错特性，以及它是基于Java语言开发的，这使得Hadoop可以部署在低廉的计算机集群中，同时不限于某个操作系统。Hadoop中HDFS的数据管理能力，MapReduce处理任务时的高效率，以及它的开源特性，使其在同类的分布式系统中大放异彩，并在众多行业和科研领域中被广泛采用。

　　Hadoop的优势

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

　　·高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

　　·高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

　　·高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此其处理速度非常快。

　　·高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

　　Hadoop的应用现状和发展趋势

　　由于Hadoop优势突出，基于Hadoop的应用已经遍地开花，尤其是在互联网领域。Yahoo! 通过集群运行Hadoop，以支持广告系统和Web搜索的研究;Facebook借助集群运行Hadoop，以支持其数据分析和机器学习;百度则使用Hadoop进行搜索日志的分析和网页数据的挖掘工作;淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据;中国移动研究院基于Hadoop的“大云”(BigCloud)系统用于对数据进行分析和并对外提供服务。

　　2008年2月，Hadoop最大贡献者的Yahoo!构建了当时规模最大的Hadoop应用，它们在2000个节点上面执行了超过1万个Hadoop虚拟机器来处理超过5PB的网页内容，分析大约1兆个网络连接之间的网页索引资料。这些网页索引资料压缩后超过300TB。Yahoo!正是基于这些为用户提供了高质量的搜索服务。

　　Hadoop目前已经取得了非常突出的成绩。随着互联网的发展，新的业务模式还将不断涌现，Hadoop的应用也会从互联网领域向电信、电子商务、银行、生物制药等领域拓展。相信在未来，Hadoop将会在更多的领域中扮演幕后英雄，为我们提供更加快捷优质的服务。

作者：陆嘉恒

来源： IT168

原文标题：大数据利器Hadoop的应用现状和发展趋势

微信关注我们

原文链接：https://yq.aliyun.com/articles/222214

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NoSQL领衔大数据时代的新技术

本文讲的是NoSQL领衔大数据时代的新技术,大数据应用到数据集，其大小超出了常用软件工具所能捕捉、管理和在可承受的时间内处理数据的能力。Big Data的规模在不断变化，单一数据集的规模从几十个TB涨到多个PB。 IDC估计到2011年数据约达到1.8ZB。 ZB有多大?答案是10亿个TB。目前世界人口有7亿——也就是说，如果给每个人250G硬盘——存储空间仍然是不够用的。这次的数据洪流有诸多来源： 1. 纽约证券交易所每天产生1TB的新交易数据; 2. Facebook主机存储100亿张照片会占用1PB空间; 3. Ancestry.com，家谱网，存储约2.5PB数据; 4. 互联网档案馆存储约2PB数据，并以每月约20TB的速度增长; 5. Geneva附近的Large Harden Colider每年将产生15PB的数据; 6. 人们每天从传感器、移动设备、网上交易和社交网络创造相当于2.5万亿字节的数据。 Facebook、Yahoo和Google发现他们以空前的规模汇集数据。他们是第一批从上百万用户中汇集数据的大公司。这些数据迅速淹没了传统的例如Oracle和MySQL...

2017-09-28

671

本文讲的是IBM卢伟权：大数据下的信息掌握与分析,当前，行业对于“大数据”的关注疾速攀升，这并不亚于数据本身的增长程度。您是否想过，我们看到的“谈大数据色变”或许只是个表象，走在行业前列的企业早已开始默默挖掘大数据中蕴含的“金矿”，为自己的业务飙升迈出制胜一步。作为行业引领者，IBM一直走在新趋势的前沿，对于大数据更是全力融合创新技术与行业经验助力客户梳理大数据概念，选择战略方向，制定方案策略，实现行业落地：今年5月，IBM智慧的分析洞察正式发布，为大数据环境下的企业描绘了一幅宏伟的战略蓝图。在此基础上，IBM全面整合内部资源，搭建了融软件、硬件、服务为一体的大数据平台，为企业提供易执行、低成本、高效率的大数据解决方案。在行业方面，IBM为行业企业量身定制的大数据解决方案优势充分凸显，大数据制胜策略已不再纸上谈兵，实践之花也开遍制造、电信、金融等诸多行业。 IBM软件集团大中华区信息管理软件总经理卢伟权认为，IBM不仅仅是在大数据里有不同的投入，在不同的数据平台上，我们都有很多配合大数据的开发和产品来做整个大数据的实施和管理。卢伟权指出，在IM中其中有一部分是我们这个部门里负责掌控...

2017-09-28

508

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。