YARN的基础配置
基于HADOOP3.0+Centos7.0的yarn基础配置;
执行步骤:(1)配置集群yarn (2)启动、测试集群(3)在yarn上执行wordcount案例
一、配置yarn集群
1.配置yarn-env.sh
添加:export JAVA_HOME=/opt/module/jdk1.8.0_144
2.配置yarn-site.xml
1 <!-- reducer获取数据的方式--> 2 <property> 3 <name>yarn.nodemanager.aux-services</name> 4 <value>mapreduce_shuffle</value> 5 </property> 6 7 <!-- 指定YARN的ResourceManager的地址--> 8 <property> 9 <name>yarn.resourcemanager.hostname</name> 10 <value>hadoop101</value> 11 </property> 12 13 <!--在etc/hadoop/yarn-site.xml文件中,修改检查虚拟内存的属性为false--> 14 <property> 15 <name>yarn.nodemanager.vmem-check-enabled</name> 16 <value>false</value> 17 </property> 18 19 <!--引入hadoop路径--> 20 <property> 21 <name>yarn.application.classpath</name> 22 23 <value> 24 /opt/hadoop-2.6.0/etc/hadoop, 25 /opt/hadoop-2.6.0/share/hadoop/common/*, 26 /opt/hadoop-2.6.0/share/hadoop/common/lib/*, 27 /opt/hadoop-2.6.0/share/hadoop/hdfs/*, 28 /opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*, 29 /opt/hadoop-2.6.0/share/hadoop/mapreduce/*, 30 /opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*, 31 /opt/hadoop-2.6.0/share/hadoop/yarn/*, 32 /opt/hadoop-2.6.0/share/hadoop/yarn/lib/* 33 </value> 34 </property>
3.配置:mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
4.配置mapred-site.xml
<!-- 指定mr运行在yarn上--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.application.classpath</name> <value> /opt/hadoop-2.6.0/etc/hadoop, /opt/hadoop-2.6.0/share/hadoop/common/*, /opt/hadoop-2.6.0/share/hadoop/common/lib/*, /opt/hadoop-2.6.0/share/hadoop/hdfs/*, /opt/hadoop-2.6.0/share/hadoop/hdfs/lib/*, /opt/hadoop-2.6.0/share/hadoop/mapreduce/*, /opt/hadoop-2.6.0/share/hadoop/mapreduce/lib/*, /opt/hadoop-2.6.0/share/hadoop/yarn/*, /opt/hadoop-2.6.0/share/hadoop/yarn/lib/* </value> </property>
二、启动集群
1.启动hdfs集群(namenode+datanode)
2.启动yarn集群(resourceManger+nodeManager)
sbin/start-yarn.sh or pasting
访问 http://192.168.1.101:8088/cluster
三、运行案例
1.删除文件系统上原来的output文件
hdfs dfs -rm -R /user/atguigu/output
2.执行mapreduce程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output
3.查看运行结果
hdfs dfs -cat /user/atguigu/output/*
历史服务器配置
配置mapred-site.xml
<property> <name>mapreduce.jobhistory.address</name> <value>0.0.0.0:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>0.0.0.0:19888</value> </property>
启动命令:
mapred --daemon stop historyserver
or sbin/mr-jobhistory-daemon.sh start historyserver
访问地址: http://ip:19888/jobhistory

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hive操作大全(原创)
1、建库 create database mydb; create database if not exists mydb; create database if not exists mydb location "/aa/bb"; 2、查询数据库 查询库列表:show databases; 查询库详细信息:desc database [extended] mydb; 查询建库的详细信息:show create database mydb; 3、删除数据库 drop database mydb; drop database if exists mydb; // 删除一个空库 drop database if exists mydb [restrict|cascade]; // 删除带有表的库的时候,必须后面加cascade 4、先进入我们要操作的数据库/切换库 use mydb; // 切换库 select current_database(); // 查询正在使用的库 5、查看数据库里面的表 show tables; show tables in mydb; 6、添加表 两种不同的分...
- 下一篇
YARN调试过程中的常见问题
执行操作: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /user/today/input /user/today/output 报错: 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 解决: 在mapred-site.xml 和 yarn-site.xml添加如下 <property> <name>yarn.application.classpath</name> <value> /opt/hadoop-2.6.0/etc/hadoop, /opt/hadoop-2.6.0/share/hadoop/common/*, /opt/hadoop-2.6.0/share/hadoop/common/lib/*, /opt/hadoop-2.6.0/share/hadoop/hdfs/*, /opt/hadoop-2.6.0/share/...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- 2048小游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS7设置SWAP分区,小内存服务器的救世主