Hadoop YARN学习之监控集群监控Nagios(4)
doop YARN学习之监控集群监控Nagios(4)
1. Nagios是一个流行的开源监控工具,可以用来监控Hadoop集群。
2. 监控基本的Hadoop服务
- 调试好脚本后命名为chek_resource_manager.sh,并把它放在Nagios的插件目录中。
- 加载Nagios插件向hadoop-cluster.cfg添加如下信息
define command{ command_name check_resource_manager command_line /usr/lib64/nagios/plugins/check_resource_manager.sh }
- 使用hadoop-cluster.cfg文件中的新命令来定义一个Nagios服务
define service{ use local-service host_name yarn1.apps.hdp service_description ResourceManager check_command check_resource_manager }
- 为每个其他的服务也定义一个service和command条目
- 要使用新的配置,需要重启
#service nagios restart
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hadoop YARN学习之组件功能简述(3)
Hadoop YARN学习之组件功能简述(3) 1. YARN的三大组件功能简述: ResourceManager(RM)是集群的资源的仲裁者, 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。 NodeManager,位于每个节点上,管理该节点上用户作业和工作流。 ApplicationMaster,用户作业生命周期管理者。 是用户应用程序驻留的地方。 2. 三大组件构成了一个可扩展的、灵活的、高效的环境,来运行各种类型的大数据处理作业。 3. 组件功能协作简述 ResourceManager动态的分配特定节点来运行应用程序。 Container是绑定到特定集群节点的一组资源逻辑组合(如内存、核) 为了执行和跟踪这些资源分配,ResourceManager与运行在每个节点上的NodeManager进程交互。 基于可扩展性的需求,ResourceManager和NodeManager之间通过心跳来通信。 NodeManager负责本地可以资源的监控,故障报告以及Container生命周期的管理(如杀死和启动作业)。ResourceMa...
- 下一篇
Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)
Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5) 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。 jstat工具,在JDK的bin目录,可以显示大量JVM统计信息。 1.1 JVM分析 一个Java虚拟机(JVM)进程被分为3个区(代),具体分为年轻代(young generation)、年老代(tenured generation)和持久代(permanent generation) 年轻代被分为三个子区域:Eden(区),第一Survivor区和第二Survivor区。当一个对象被JVM创建时,它首先在Eden区创建,然后被移到第一Survivor区,然后再被移到第二Survivor区,最后被移到年老区。 2. Ganglia监控系统可以为集群提供实时监控视图。 Ganglia监控程序名为gmond,必须按照在所有你想要监控的服务器上,在主监控节点上,需要安装必要的安装包。 3. Apache Ambari集中式的管理一个Hadoop集群,使用Ambari,管理员可以配置集群的服务,监控服务节点的状态,利用服务的监控...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7安装Docker,走上虚拟化容器引擎之路