Hadoop|启动yarn及在yarn上运行mapreduce-低调大师

Hadoop|启动yarn及在yarn上运行mapreduce

2018-02-01 595

YARN on Single Node

修改yarn环境配置文件yarn-env.sh

image.png

修改yarn配置文件yarn-site.xml

image.png

配置yarn服务地址及HDFS地址

image.png

启动yarn的resourcemanager和nodemanager节点

命令：sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

image.png

查看yarn服务器web页面端口为8088

image.png

修改配置文件mapred-env.sh

image.png

重新命名mapred-site.xml.template

image.png

在mapred-site.xml文件中添加yarn值，表示在yarn上运行

image.png

运行yarn前删除输出目录，要不会报错

bin/hdfs dfs -rm -R /user/beifeng/mapreduce/wordcount/output

image.png

运行mapReduce程序

微信关注我们

原文链接：https://yq.aliyun.com/articles/510298

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【阿里云MVP第五期】阿里云李靖威：Elasticsearch集群监控与报警原理解析

嘉宾介绍李靖威阿里云技术专家全栈程序员，精通前后端，在Web微服务系统架构上有深入研究。3年搜索产品相关经验，现负责阿里云Elasticsearch的产品业务部分的开发。今天会对Elasticsearch集群监控原理介绍和Demo展示，包括集群运行状况、监控信息的搜集、分析和报警等。我今天的主题主要会从三个方面来逐步介绍，第一个方面会从大家最广泛使用的开源Elasticsearch实现监控和报警相关的原理。第二个方面，从ES官方X-Pack里面的非常强大的Monitor插件，是来如何实现对ES进行的监控和报警。第三个方面是介绍一下在阿里云Elasticsearch里面如何更加方便的去使用ES的集群的监控和报警。开源Elasticsearch如何实现监控和报警为了保证一个ES集群的稳定运行，我们要从各个维度去对整个集群进行监控。我

2018-02-01

657

信息摘要： DataWorks控制台升级适用客户：所有需要进行大数据开发、分析的客户版本/规格功能： 1. 优化创建项目流程，帮助用户在创建项目过程中更好的选择：MaxCompute、PAI、数据集成等服务 2. 支持PAI商业化，用户可以在DataWorks控制台无缝配置使用PAI的能力 3. 优化MaxCompute欠费升级通知体验 4. 更多BugFix，提升用户体验产品文档： https://help.aliyun.com/document_detail/30263.html

2018-02-02

594

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。