Hadoop|启动yarn及在yarn上运行mapreduce-低调大师

Hadoop|启动yarn及在yarn上运行mapreduce

2018-02-01 607

YARN on Single Node

修改yarn环境配置文件yarn-env.sh

image.png

修改yarn配置文件yarn-site.xml

image.png

配置yarn服务地址及HDFS地址

image.png

启动yarn的resourcemanager和nodemanager节点

命令：sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

image.png

查看yarn服务器web页面端口为8088

image.png

修改配置文件mapred-env.sh

image.png

重新命名mapred-site.xml.template

image.png

在mapred-site.xml文件中添加yarn值，表示在yarn上运行

image.png

运行yarn前删除输出目录，要不会报错

bin/hdfs dfs -rm -R /user/beifeng/mapreduce/wordcount/output

image.png

运行mapReduce程序

微信关注我们

原文链接：https://yq.aliyun.com/articles/510298

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【阿里云MVP第五期】阿里云李靖威：Elasticsearch集群监控与报警原理解析

嘉宾介绍李靖威阿里云技术专家全栈程序员，精通前后端，在Web微服务系统架构上有深入研究。3年搜索产品相关经验，现负责阿里云Elasticsearch的产品业务部分的开发。今天会对Elasticsearch集群监控原理介绍和Demo展示，包括集群运行状况、监控信息的搜集、分析和报警等。我今天的主题主要会从三个方面来逐步介绍，第一个方面会从大家最广泛使用的开源Elasticsearch实现监控和报警相关的原理。第二个方面，从ES官方X-Pack里面的非常强大的Monitor插件，是来如何实现对ES进行的监控和报警。第三个方面是介绍一下在阿里云Elasticsearch里面如何更加方便的去使用ES的集群的监控和报警。开源Elasticsearch如何实现监控和报警为了保证一个ES集群的稳定运行，我们要从各个维度去对整个集群进行监控。我

2018-02-01

671

信息摘要： DataWorks控制台升级适用客户：所有需要进行大数据开发、分析的客户版本/规格功能： 1. 优化创建项目流程，帮助用户在创建项目过程中更好的选择：MaxCompute、PAI、数据集成等服务 2. 支持PAI商业化，用户可以在DataWorks控制台无缝配置使用PAI的能力 3. 优化MaxCompute欠费升级通知体验 4. 更多BugFix，提升用户体验产品文档： https://help.aliyun.com/document_detail/30263.html

2018-02-02

604

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。