大神如何一招完美解决Hadoop集群无法正常关闭的问题!
云栖号:https://yqh.aliyun.com
第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!
相信对于大部分的大数据初学者来说,一定遇见过Hadoop集群无法正常关闭的情况。有时候当我们更改了Hadoop内组件的配置文件后,必须要通过重启集群来使配置文件生效。
但往往一stop-all.sh,集群下方总会出现下面的提示:
最开始的时候,我也是看了一个头两个大,这都是啥么情况???
但问题都出来了,只有迎面解决了~
我们都知道在Hadoop中控制脚本启动和停止Hadoop后台程序的是哪个脚本。
没错,就是Hadoop-daemon.sh
先让我们利用find命令找到它的位置
find / -name Hadoop-daemon.sh
通过vim /export/servers/Hadoop-2.6.0-cdh5.14.0/sbin/Hadoop-daemon.sh
在文件的最后几行,我们终于找到了答案:
初步分析,如果pid文件不存在就会打印:no xxx to stop
那我们上述出现的情况无非就是Hadoop集群关闭的时候,Namenode或者DataNode的pid文件找不着。
通过配置文件最初的描述,我们大概知道pid文件默认是保存在tmp目录下
那这个pid文件是啥?根据查阅资料,方知Hadoop启动后,会把进程的PID号存储在一个文件中,这样执行stop-dfs脚本时就可以按照进程PID去关闭进程了。
现在问题原因很明确了,就是/tmp目录下的Hadoop-*.pid的文件找不到了。
我们知道/tmp是临时目录,系统会定时清理该目录中的文件。显然把pid文件放在这里是不靠谱的,pid文件长时间不被访问,早被清理了!
所以我们只需要在配置文件中更改默认的pid存放位置即可。但注意,需要先通过kill等方法把进程杀死,等集群关闭之后再更改!
同样的道理,你还需要修改yarn-daemon.sh配置文件。
好了,从此再也不用担心出现no xxx to stop的警告了!
云栖号:https://yqh.aliyun.com
第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!
原文发布时间:2020-02-17
本文作者:Alice菌
本文来自:“CSDN云计算公众号”,了解相关信息可以关注“CSDN云计算”
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
环形缓冲区-Hadoop Shuffle过程中的利器
这篇文章来自一个读者在面试过程中的一个问题,Hadoop在shuffle过程中使用了一个数据结构-环形缓冲区。 环形队列是在实际编程极为有用的数据结构,它是一个首尾相连的FIFO的数据结构,采用数组的线性空间,数据组织简单。能很快知道队列是否满为空。能以很快速度的来存取数据。 因为有简单高效的原因,甚至在硬件都实现了环形队列。 环形队列广泛用于网络数据收发,和不同程序间数据交换(比如内核与应用程序大量交换数据,从硬件接收大量数据)均使用了环形队列。 环形缓冲区数据结构 Map过程中环形缓冲区是指数据被map处理之后会先放入内存,内存中的这片区域就是环形缓冲区。 环形缓冲区是在MapTask.MapOutputBuffer中定义的,相关的属性如下: // k/v accounting // 存放meta数据的IntBuffer,都是int en
- 下一篇
低成本历史库最佳实践
阿里巴巴集团内为淘宝、支付宝、菜鸟提供订单、账单、物流单的历史库最佳实践方案,帮助您解决历史库的成本和扩展性问题,提供可视化的历史库链路搭建,支持水平扩展,极低的存储成本和丰富的在线查询能力。 解决方案架构图 简单易用 可视化配置,5分钟搭建 内置丰富处理函数,沉淀于最佳实践 支持脏数据容错 完善的监控和报警 低成本 高压缩算法 冷热分离 混合存储 高扩展性 支持水平扩展、垂直升配 扩容节点分钟级生效,异步数据Balance,不影响在线查询 丰富查询 支持高并发的点查和范围查询 支持全局二级索引 配合Solr提供低成本全维度索引 提供服务将数据归档数仓进行分析 适用客户: 使用MySQL存储订单、账单数据总量超过数千万行,MySQL性能开始出现下降,存储成本持续攀升。数据需要长期或者永久保留并提供查询
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS关闭SELinux安全模块
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Red5直播服务器,属于Java语言的直播服务器