Slave2: no datanode to stop（HADOOP_PID

Slave2: no datanode to stop（HADOOP_PID_DIR）

2016-11-02 597 89

HADOOP_PID_DIR

本想在环境变量里设置，在相关文件里直接尹用，但是我想起来那时候的JAVA_HOME都不行，还是一个一个设置吧。

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，
因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下

如何配置避免把进程文件写到临时目录下面呢？

一：Hadoop配置：

（1）修改hadoop-env.sh
修改如下，如果没有下面的设置，可以直接添加：

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
NameNode
DataNode
SecondaryNameNode
进程pid存储

（2）修改mapred-env.sh
修改
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
JobHistoryServer
进程pid存储

（3）修改yarn-env.sh
修改或者添加（不存在此项配置时），这里面我没有找到pid的环境设置变量，所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置，影响
NodeManager
ResourceManager
进程pid存储

微信关注我们

原文链接：https://yq.aliyun.com/articles/288455

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-11-03 00:00:00

复杂网络架构下的网络故障智能处理——DC Brain之故障篇

本文PPT来自阿里巴巴产品经理何源（花名：荆杭）10月16日在2016年杭州云栖大会上发表的《复杂网络架构下的网络故障智能处理——DC Brain之故障篇》。网络是沟通世界的纽带，然而这个纽带却往往没有人们想象中的那么稳定。面对突如其来网络故障，网络工程师们经常会显得束手无策。与其他故障不同，网络故障的特殊性体现在1.体量大，经常涉及几万台网络设备和几百万端口2. 型号架构多，日志格式不统一，警告规则不统一 3.结构复杂，重复告警多 4. 自身依赖，监控系统本身运行在网络上。因此如何处理巨大的数据、不被海量的警告淹没、理清复杂的依赖关系和逻辑关系，是工程师们普遍关心的问题。所以这里我们采用多元化、交叉覆盖的检测手段，根据可扩展、可自定义的规则并结合基于pagerank算法的告警收敛，利用告警监控系统冗余部署来检测网络系统异常。大体的思路是这样的：首先系统采集Syslog日志事件，并利用包含大量事件库的日志分类引擎来处理Syslog日志，最终再通过正则匹配使原本杂乱无章的系统日志变得简单明了。类似地，系统也会采集SNMP和Ping测事件，并且用包含对应规则库的规则引擎来分析处理这些事...

629

2016-11-03 00:00:00

ResourceManager没启动

终端看着没问题，然后进入hadoop的logs文件夹下找打yarn-hxsyl-resoucemanager.log，发现里面报错了，是因为fairscheduler需要放在etc/hadoop下，我把它放在了etc下，尴尬。

738

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。