阿里云E-MapReduce产品简介-低调大师

阿里云E-MapReduce产品简介

2017-08-30 709

产品概述：

阿里云 Elastic MapReduce（E-MapReduce）是运行在阿里云平台上的一种大数据处理的系统解决方案。E-MapReduce 构建于阿里云云服务器 ECS 上，基于开源的 Apache Hadoop 和 Apache Spark，让用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统（如 Apache Hive、Apache Pig、HBase 等）来分析和处理自己的数据。不仅如此，用户还可以通过E-MapReduce将数据非常方便的导出和导入到阿里云其他的云数据存储系统和数据库系统中，如阿里云 OSS、阿里云 RDS 等。

E-MapReduce 的用途

当用户想要使用 Hadoop、Spark 等分布式处理系统的时候，通常需要经历如下的步骤：

1.评估业务特点
2.选择机器类型
3.采购机器
4.准备硬件环境
5.安装操作系统
6.部署 Hadoop 和 Spark 等 app
7.启动集群
8.编写应用程序
9.运行作业
10.获取数据等一系列的步骤
在这些流程中，真正跟用户的应用逻辑相关的是从第8步才开始，第1-7步的各项工作都是前期的准备工作，通常这个前期工作都非常冗长繁琐。而 E-MapReduce 提供了集群管理工具的集成解决方案，如主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理、性能监控等。

通过使用 E-MapReduce，用户可以从集群构建各种繁琐的采购、准备、运维等工作中解放出来，只关心自己应用程序的处理逻辑即可。此外，E-MapReduce 还给用户提供了灵活的搭配组合方式，用户可以根据自己的业务特点选择不同的集群服务。例如，如果用户的需求是对数据进行日常统计和简单的批量运算，则可以只选择在 E-MapReduce 中运行 Hadoop 服务；而如果用户还需要流式计算和实时计算的需求，则可以在 Hadoop 服务基础上再加入 Spark 服务。

E-MapReduce 的组成

E-MapReduce 最核心也是用户直接面对的组件是集群。一个 E-MapReduce 集群是由一个或多个阿里云 ECS instance 组成的 Hadoop 和 Spark 集群。以 Hadoop 为例，在每一个 ECS instance 上，通常都运行了一些 daemon 进程（如 namenode、datanode、resoucemanager 和 nodemanager），这些 daemon 进程就组成了 Hadoop 集群。运行 namenode 和 resourcemanager 的节点被称为 master 节点，而运行 datanode 和 nodemanager 的节点被称为 slave 节点。
例如，下图表示了一个包含1个 master 节点和3个 slave 节点的 E-MapReduce 集群：

产品优势

与自建集群相比，E-MapReduce 能给您提供相对方便可控的手段，从各方面管理自己的集群。此外，它还具有以下优势：

- 易用性

您可简单选择所需 ECS 机型（CPU、内存）与磁盘，并选择所需的软件，进行自动化部署。

您可以根据自己或数据源所处的地理位置申请对应位置的集群资源。目前阿里云 ECS 支持的区域包括华东 1、华东 2、华北 1、华北 2、华南 1、新加坡、香港、美东 1、美西 1 等区域。E-MapReduce 支持的区域包括华北 2、华东 1、华东 2 和华南 1，后续会陆续开放到阿里云 ECS 支持的所有区域。

- 低价

您可以按需创建集群，即离线作业运行结束就可以释放集群，还可以在需要时动态地增加节点。

- 深度整合

与阿里云其它产品如 OSS、MNS、RDS、MaxCompute 等深度整合，使其可作为 E-MapReduce 产品中 Hadoop/Spark 计算引擎的输入源或者输出目的地。

- 安全

E-MapReduce 整合了阿里云 RAM 资源权限管理系统，通过主子账号对服务权限进行隔离。

基础架构

E-MapReduce 的产品架构如下图所示:

从上图可以看出，E-MapReduce 集群基于 Hadoop 的生态环境来搭建，同时可以跟阿里云的对象存储服务（OSS），云数据库（RDS）等云服务进行无缝数据交换，方便您将数据在多个系统之间进行共享和传输，以满足不同业务类型的访问需要。

使用场景

E-MapReduce 集群适用场景很多。简单说来，Hadoop ecosystem 以及 Spark 能够支持的场景，E-MapReduce 都可以支持。因为 E-MapReduce 本质就是 Hadoop 和 Spark 的集群服务，您完全可以将其使用的阿里云 ECS 主机视为自己专属的物理主机。以下示例列出了 E-MapReduce 使用的经典场景。

批量数据处理

Ad hoc 数据分析查询

海量数据在线服务

流式数据处理

微信关注我们

原文链接：https://yq.aliyun.com/articles/186426

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Docker入门（一）————五叶草

作者：麦冬锻石基础部分安装看Docker操作手册写的很详细二进制安装一般安装方法这里说下二进制安装，按照官网方式Install static binaries 安装docker在Centos基本上就是yum install即可的一件事情(在ubuntu也是apt-get很容易安装)，但是在实际环境中，可能遇到企业内网之内无法连接，或者安全合规审查等问题，加之下载增加了安装时间，因此二进制方式安装变成了一种实际的需要。下面是官网的安装方式有些时候会在sudo docker &时候出现错误可以执行以下下面命令再试。 rm -rf /var/lib/docker 脚本傻瓜式安装这里提供写好的脚本，可以把脚本和下载的二进制文件放在同一目录下，然后运行sh install-docker.sh 项目下载地址二进制方式安装docker脚本 http://osgp88fat.bkt.clouddn.com/docker/install-docker.sh 二进制的docker安装文件 https://download.docker.com/linux/static/st...

2017-08-31

576

在创建 E-MapReduce 之前，您需要先完成以下准备工作： 1.注册阿里云账号在申请 E-MapReduce 集群之前，您需要一个阿里云的云账号用于标识您在整个阿里云生态系统中的身份。该账号不仅可以用来申请 E-MapReduce 集群，同时还能够开通阿里云的对象存储服务 OSS、云数据库 RDS等服务。如果您还没有阿里云的云账号，请参见注册云账号进行申请。 2.创建 Access Key（可选）由于 E-MapReduce 调用访问的需要，您至少需要创建一个 Access Key，创建步骤如下：登录阿里云官网。登录管理控制台。单击 AccessKeys。注意：若出现如下提示框，请单击继续使用 Accesskey。 accesskey 提示单击创建 Access Key，然后再单击同意并创建。输入短信校验码，单击确定。Access Key 创建成功。 3.开通阿里云 OSS 服务 E-MapReduce 会将您的作业日志和运行日志保存在您的阿里云 OSS 存储空间中，所以需要您开通阿里云 OSS 服务，操作步骤请参见开通 OSS 服务。并在您期望创建集群的相同地...

2017-08-31

544

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。