《Hadoop MapReduce性能优化》一第 1 章　了解Hadoop MapReduce-低调大师

《Hadoop MapReduce性能优化》一第 1 章　了解Hadoop MapReduce

2017-05-01 607

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第1章，第1.1节，作者：【法】Khaled Tannir 译者：范欢动责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

第 1 章　了解Hadoop MapReduce

Hadoop MapReduce性能优化
第 1 章　了解Hadoop MapReduce

MapReduce是一个流行的针对数据密集任务的分布式计算模型，它正在发展成为用来支撑包括Web索引、数据挖掘和科学仿真等领域的大规模数据并行应用的重要编程模型。

Hadoop是Google公司的MapReduce编程模型的最受欢迎的Java开源实现。在很多公司，Hadoop已经用于大规模数据分析任务，并且经常用在对响应时间要求很严格的作业中。

在深入了解MapReduce编程和Hadoop性能调优之前，我们先来回顾一下MapReduce模型的基础知识，并了解有哪些因素影响着Hadoop的性能。

本章将介绍以下内容：

MapReduce模型；
Hadoop MapReduce概述；
Hadoop MapReduce的工作原理；
影响MapReduce性能的因素。

微信关注我们

原文链接：https://yq.aliyun.com/articles/96964

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop和大数据两个世界是合并还是冲突？

在数据库格式领域将会发生一场战争吗？Hadoop和大数据这两个世界在企业界会合并还是冲突？就在Janath Manohararaj以蓝十字蓝盾协会（Blue Cross and Blue Shield Assoc.：美国第一大私人健康保险公司集团----译者注）数据库服务团队负责人的身份作客SiliconANGLE的流动新闻平台CUBE之前，他与CUBE的搭档主持人John Furrier和Dave Vellante在幕后提及了这些问题。这些热门话题充分激起了Manohararaj的兴趣，也开启了他在惠普Vertica大会的现场访谈。谈及数据库以及深入探讨Hadoop的现状时，Manohararaj提醒电视观众在发展初期只存在关系数据库，大数据是如此的新颖以至于它属于市场中截然不同的阵营。就蓝十字蓝盾协会所涉及到的而言，这家健康保

2017-05-02

576

前言 Hadoop MapReduce实战手册本书目标是帮助读者学会处理大型的复杂数据集。本书虽从简单的例子开始，但仍然可以看到深入的内容。这是一本简单的一站式指南，传授如何完成复杂的事情。它以一种简单而直接的方式呈现了90个攻略，给出了一步步的指导和真实环境的应用示例。本产品包括在Apache软件基金会（http://www.apache.org/）开发的软件。本书涵盖的内容第1章解释了如何以单点模式以及集群模式安装和运行Hadoop。第2章介绍了一套高级的HDFS操作，在处理大规模数据时，无论是用Hadoop MapReduce还是用非MapReduce用例，这些操作都很有用。第3章解释了如何改变Hadoop部署的配置和安全性，以及如何调试。第4章介绍了几种高级的Hadoop MapReduce特性，这些特性将有助于你开发高度定制化的、高效的MapReduce应用程序。第5章介绍了其他与Hadoop相关的项目，如HBase、Hive和Pig。第6章解释了如何使用Hadoop来计算基本的统计分析信息。第7章介绍几种可以与Apache Hadoop协同使用的工具和技术...

2017-05-02

582

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。