阿里云创建E-MapReduce 1 快速开始-低调大师

阿里云创建E-MapReduce 1 快速开始

2017-08-30 494

注意：请确认您已经完成了必选的准备工作。

通过本教程，用户能够基本了解E-MapReduce中集群、作业和执行计划的作用和使用方法。能够创建一个Spark Pi的作业在集群上运行成功，并最后在控制台页面上看到圆周率Pi的近似计算结果。

1.创建集群

在控制台左侧选择集群，并点击右上创建集群
软件配置
选择最新的EMR产品版本，比如EMR-3.4.1
使用默认软件配置
硬件配置
选择按量付费
若没有安全组，打开新建，并填写安全组名称
选择 Master 4核8G
选择 Core 4核8G，两台
其他保持默认
基础配置
填写集群名称
选择日志路径保存作业日志，务必开启。在集群对应的地域，创建OSS的Bucket
填写密码
创建集群

2.创建作业

在控制台左侧选择作业，并点击右上创建作业
填写作业名称
选择Spark类型
参数填写，使用如下

--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar 10

注意：，这个/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar, 需要根据实际集群中的 Spark 版本来修改这个jar包，比如 Spark 是2.1.1的, 那么就是spark-examples_2.11-2.1.1.jar,如果是2.2.0的，那么就是spark-examples_2.11-2.2.0.jar
其他保持默认，创建作业

3.创建执行计划

确认之前创建的集群已经创建成功以后，在列表上的状态显示为空闲
在控制台左侧选择执行计划，并点击右上创建执行计划
创建时选择已有集群，并选择之前创建集群进行关联
将之前创建的作业，加入到运行队列中
填写执行计划名称
默认手动执行
创建执行计划
运行执行计划
在执行计划列表页面，点击立即运行
查看作业日志并确认结果
点击管理，进入管理页面，在下方查看运行记录
点击运行记录的右侧，查看作业列表
点击stdout能够查看到Pi的近似计算结果：3.14xxxx

微信关注我们

原文链接：https://yq.aliyun.com/articles/186489

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

8月31日云栖精选夜读：一张图读懂阿里云网络产品：共享带宽

共享经济无处不在，如今云服务器也能共享带宽啦。阿里云是国内唯一提供全自动化共享带宽服务的云服务商。服务即开即用，无需等待人工开通和人工计费。共享带宽为你的企业大幅节省公网带宽费用。弹性带宽和95计费方式让你不必担心突发业务造成的带宽峰值激增。热点热议一张图读懂阿里云网络产品：共享带宽作者：伟耘发表在：阿里云网络产品【沉淀】记录电商时代下的技术人：访谈阿里高级技术专家玄宗，我的十年阿里路作者：【沉淀】【云计算的1024种玩法】让ECS掺金坷垃，轻松打造离线下载服务器作者：宸熙知识整理 MQC功能测试大揭秘（2）- Appium环境搭建作者：mqc seo外链优化需要规避的那些"坑" 作者：不油皮皮虾 Library Cache优化与SQL游标作者：技术小能手发表在：数据和云云大使强势来袭，赋能云计算全新生态力量作者：仁太小米深度学习平台架构与实现作者：it大咖说发表在：IT大咖说美文回顾机器学习----线性回归模型作者：citibank 正确使用OSS Lifecycle机制节约数据存储费用作者：玉京发表在：阿里云存储服务 JavaScript...

2017-08-31

709

1.登录阿里云 E-MapReduce 控制台作业列表。 2.单击该页右上角的创建作业，进入创建作业页面。 3.填写作业名称。 4.选择 Hadoop 作业类型。表示创建的作业是一个 Hadoop Mapreduce 作业。这种类型的作业，其后台实际上是通过以下的方式提交的 Hadoop 作业。 hadoop jar xxx.jar [MainClass] -Dxxx ....5.在应用参数中填写提交该 job 需要提供的命令行参数。这里需要说明的是，这个选项框中需要填写的内容从 hadoop jar 后面的第一个参数开始填写。也就是说，选项框中第一个要填写的是运行该作业需要提供的 jar 包所在地址，然后后面紧跟 [MainClass] 以及其他用户可以自行提供的命令行参数。举个例子，假设用户想要提交一个 Hadoop 的 sleep job，该 jo b不读写任何数据，只是提交一些 mapper 和 reducer task 到集群中，每个 task sleep 一段时间，然后 job 成功。在 Hadoop 中（hadoop-2.6.0 为例）以，该 job 被打包在 Hado...

2017-09-01

487

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。