一文告诉你什么是E-MapReduce-低调大师

一文告诉你什么是E-MapReduce

2020-07-26 738

云栖号快速入门：【点击查看更多云产品快速入门】
不知道怎么入门？这里分分钟解决新手入门等基础问题，可快速完成产品配置操作！

阿里云E-MapReduce（Elastic MapReduce），是运行在阿里云平台上的一种大数据处理的系统解决方案。

简介

E-MapReduce构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统（例如，Apache Hive、Apache Pig和HBase等）来分析和处理自己的数据。不仅如此，E-MapReduce还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。

E-MapReduce的用途

以往在使用Hadoop和Spark等分布式处理系统时，您通常需要执行如下步骤。

在上述使用流程中，真正跟用户的应用逻辑相关的是步骤8~10，而步骤1~7都是前期准备工作，但这些前期准备工作都非常冗长繁琐。E-MapReduce提供了集群管理工具的集成解决方案，例如，主机选型、环境部署、集群搭建、集群配置、集群运行、作业配置、作业运行、集群管理和性能监控等。通过E-MapReduce，您可以从繁琐的集群构建相关的采购、准备和运维等工作中解放出来，只关心自己应用程序的处理逻辑即可。

此外，E-MapReduce还为您提供了灵活的搭配组合方式，您可以根据自己的业务特点选择不同的集群服务。例如，如果您的需求是对数据进行日常统计和简单的批量运算，则可以只选择在E-MapReduce中运行Hadoop服务；如果您有流式计算和实时计算的需求，则可以在Hadoop服务基础上再加入Spark服务。

E-MapReduce的组成

E-MapReduce最核心也是用户直接面对的组件是集群。E-MapReduce集群是由一个或多个阿里云ECS实例组成的Hadoop和Spark集群。以 Hadoop为例，每个ECS Instance上通常都运行了一些daemon进程（例如，NameNode、DataNode、ResouceManager和NodeManager），这些daemon 进程共同组成了Hadoop集群。其中运行NameNode和ResourceManager的节点称为Master节点，而运行DataNode和NodeManager的节点称为Slave节点。

例如，下图是一个包含一个Master节点和三个Slave节点的E-MapReduce集群。

本文来自阿里云文档中心什么是E-MapReduce

【云栖号在线课堂】每天都有产品技术专家分享！
课程地址：https://yqh.aliyun.com/zhibo

立即加入社群，与专家面对面，及时了解课程最新动态！
【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK

微信关注我们

原文链接：https://yq.aliyun.com/articles/768975

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hyperf 发布 v2.0.4 版本，企业级 PHP 微服务云原生协程框架

更新内容本周主要修复了一些组件的 🐛Bug，继续提升 Hyperf 的稳定性，发布于 2.0.4 版，建议用户更新此版本。直接访问官网 hyperf.io 或文档 hyperf.wiki 查看更新内容新增 #2144 数据库查询事件 Hyperf\Database\Events\QueryExecuted 添加 $result 字段。 #2158 路由 Hyperf\HttpServer\Router\Handler 中，添加 $options 字段。 #2162 热更新组件添加 Hyperf\Watcher\Driver\FindDriver。 #2169 Session 组件新增配置 session.options.domain，用于替换 Request 中获取的 domain。 #2174 模型生成器添加 ModelRewriteTimestampsVisitor，用于根据数据库字段 created_at 和 updated_at，重写模型字段 $timestamps。 #2175 模型生成器添加 ModelRewriteSoftDeletesVisitor，用于根...

2020-07-27

825

互联网诞生早期，创建网站是一门高端技术活。而现在，Wordpress这样的无代码工具让每个人都能迅速地创建一个网站。如今已有超50亿的网站，而在1995年仅存在3.1万个网站。同样，当今的高技术准入门槛是数据科学发展的阻碍，但无代码分析工具将让其实现平民化，数据科学家使用字母组合的复杂工具来“将数据转化为洞察力”。 R语言、SAS、结构化查询语言(SQL)、非关系型的数据库(NoSQL)、TF、D3.js、自然语言工具包( NLTK)、RF、MATLAB、机器学习(ML)，随便选择哪个都没有关系。关键在于，如果企业不能理解数据科学，就不能利用数据科学。并不是每个企业都能雇佣一个数据科学家团队，在美国，科学家的工资在六位数以上。一项针对500名美国员工如何使用数据的调查显示，很多企业没有从数据中获得洞察力。例如，68%的营销人员需要更多的数据可视化特征，54%的会计师需要更多的预测分析特征来预测风险。统计数据来源：GetApp Wix使每个人成为网站构建者，Canva使每个人成为设计师。现在，是时候让每个人都成为数据科学家了。商业领袖能做些什么? 无论是管理一个营销团队还是运营一...

2020-07-27

778

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。