阿里云 E-MapReduce产品优势及使用场景
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。
产品优势:
与自建集群相比,E-MapReduce 能给您提供相对方便可控的手段,从各方面管理自己的集群。此外,它还具有以下优势:
- 易用性
您可简单选择所需 ECS 机型(CPU、内存)与磁盘,并选择所需的软件,进行自动化部署。
您可以根据自己或数据源所处的地理位置申请对应位置的集群资源。目前阿里云 ECS 支持的区域包括华东 1、华东 2、华北 1、华北 2、华南 1、新加坡、香港、美东 1、美西 1 等区域。E-MapReduce 支持的区域包括华北 2、华东 1、华东 2 和华南 1,后续会陆续开放到阿里云 ECS 支持的所有区域。
- 低价
您可以按需创建集群,即离线作业运行结束就可以释放集群,还可以在需要时动态地增加节点。
- 深度整合
与阿里云其它产品如 OSS、MNS、RDS、MaxCompute 等深度整合,使其可作为 E-MapReduce 产品中 Hadoop/Spark 计算引擎的输入源或者输出目的地。
- 安全
E-MapReduce 整合了阿里云 RAM 资源权限管理系统,通过主子账号对服务权限进行隔离。
使用场景:
E-MapReduce 集群适用场景很多。简单说来,Hadoop ecosystem 以及 Spark 能够支持的场景,E-MapReduce 都可以支持。因为 E-MapReduce 本质就是 Hadoop 和 Spark 的集群服务,您完全可以将其使用的阿里云 ECS 主机视为自己专属的物理主机。以下示例列出了 E-MapReduce 使用的经典场景。
- 批量数据处理
- Ad hoc 数据分析查询
- 海量数据在线服务
- 流式数据处理
E-MapReduce 的用途:
当用户想要使用 Hadoop、Spark 等分布式处理系统的时候,通常需要经历如下的步骤:
- 评估业务特点
- 选择机器类型
- 采购机器
- 准备硬件环境
- 安装操作系统
- 部署 Hadoop 和 Spark 等 app
- 启动集群
- 编写应用程序
- 运行作业
- 获取数据等一系列的步骤
在这些流程中,真正跟用户的应用逻辑相关的是从第8步才开始,第1-7步的各项工作都是前期的准备工作,通常这个前期工作都非常冗长繁琐。而 E-MapReduce 提供了集群管理工具的集成解决方案,如主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理、性能监控等。
通过使用 E-MapReduce,用户可以从集群构建各种繁琐的采购、准备、运维等工作中解放出来,只关心自己应用程序的处理逻辑即可。此外,E-MapReduce 还给用户提供了灵活的搭配组合方式,用户可以根据自己的业务特点选择不同的集群服务。例如,如果用户的需求是对数据进行日常统计和简单的批量运算,则可以只选择在 E-MapReduce 中运行 Hadoop 服务;而如果用户还需要流式计算和实时计算的需求,则可以在 Hadoop 服务基础上再加入 Spark 服务。
E-MapReduce 的组成:
E-MapReduce 最核心也是用户直接面对的组件是集群。一个 E-MapReduce 集群是由一个或多个阿里云 ECS instance 组成的 Hadoop 和 Spark 集群。以 Hadoop 为例,在每一个 ECS instance 上,通常都运行了一些 daemon 进程(如 namenode、datanode、resoucemanager 和 nodemanager),这些 daemon 进程就组成了 Hadoop 集群。运行 namenode 和 resourcemanager 的节点被称为 master 节点,而运行 datanode 和 nodemanager 的节点被称为 slave 节点。
例如,下图表示了一个包含1个 master 节点和3个 slave 节点的 E-MapReduce 集群:
产品架构:
从上图可以看出,E-MapReduce 集群基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务(OSS),云数据库(RDS)等云服务进行无缝数据交换,方便您将数据在多个系统之间进行共享和传输,以满足不同业务类型的访问需要。
版权声明:本文由 数控等离子切割机http://www.hycsk.com 整理编辑!本文章来源于网络,如有侵权,请联系云栖社区,欢迎分享本文,转载请保留出处!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
10 条让你离不开的 Docker 常用 CLI 命令
出品丨Docker公司(ID:docker-cn)编译丨小东每周一、三、五晚6点10分 与您不见不散! Docker 是构建微服务的绝佳工具,它可以让您创建基于云端的应用程序和系统。为了最大限度地利用您的终端,这里为您列出了使用率排名前 10 的 Docker 命令。 通过运行镜像启动容器。镜像是一个可执行包,包含运行应用程序所需的所有内容 —— 代码、运行时、函数库、环境变量和配置文件。 容器是镜像的运行时实例 —— 当执行时,镜像会在内存中变成什么样子(即具有状态的镜像或用户进程)。您可以使用 docker ps 命令查看正在运行的容器列表,就像在Linux中一样 —— 来自 Docker概念。 docker ps —— 列出正在运行的容器。一些常用的标志包括:所有容器的 -a / -all (默认显示刚刚运行)和 --quiet / -q 只列出它们的 id (当你想要获取所有容器时很有用)。 docker pull —— 大多数镜像将在 Docker Hub 镜像仓库的基础镜像上进行构建。Docker Hub 包含许多预先构建的镜像,您可以在不需要定义和配置自己镜像的情况下进行...
- 下一篇
阿里云如何检查TCP80端口是否正常工作?
阿里云如何检查TCP80端口是否正常工作?,阿里云安全组规则ftp。 一台ECS实例必须至少属于一个安全组,阿里云安全组的创建和管理,为了方便部署业务,您可以跨地域、跨网络类型 克隆安全组。如果新的安全组规则对线上业务产生了不利影响,您可以全部或部分还原安全组规则。在创建ECS实例之前,必须选择安全组来划分应用环境的安全域,授权安全组规则进行合理的网络安全隔离。这种情况下,选择特定的安全组来创建ECS实例就非常方便了。否则创建ECS实例都会分配到一个固定的安全组下面,还需要重新通过移出安全组以及加入新的安全组来实现网络安全隔离。 1、ECS安全组规则优先级说明: (1)安全组规则的优先级可以设为1 ~ 100的任一个数值,数值越小,优先级越高。 (2)ECS实例可以加入不同的安全组。无论是同一个安全组内或不同安全组之间,如果安全组规则互相矛盾,即协议类型、端口范围、授权类型、授权对象都相同,最终生效的安全组规则如下: 如果 优先级 相同,则 拒绝 授权规则生效,接受 授权规则不生效。 如果 优先级 不同,则优先级高的规则生效,与 授权策略 的设置无关。 (3)为什么有些安全组规则的优先...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Red5直播服务器,属于Java语言的直播服务器
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果