部署Ganglia监控Hadoop&Hbase-低调大师

部署Ganglia监控Hadoop&Hbase

2017-11-07 549

在运维hadoop的时候，经常会遇到一些性能问题。而性能问题，是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。

部署Ganglia，百度一下，很多人已经分享很多。结合众人的经验。并加入自己安装过程中遇到的问题，整理出本文。

1. 准备了2台机器

 
         Server
        
         192.168.0.11(gmetad,web,gmond-master)
        
         Client
        
         192.168.0.12(gmond)

2. Server端需要安装的软件包

● epel包的安装：yum install -y epel-release(解决不能yum安装某些安装包的问题)

● gmetad的安装：yum install -y ganglia-gmetad ganglia-devel

● gmond的安装：yum install -y ganglia-gmond ganglia-gmond-python

● rrdtool的安装：yum install -y rrdtool rrdtool-devel

● httpd服务器的安装：yum install -y httpd

● ganglia-web及php安装：yum install -y ganglia-web php

● 其他依赖包的安装：yum install -y apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel

3. 被监测节点需要安装的软件包

● epel包的安装：yum install -y epel-release(解决不能yum安装某些安装包的问题)

● gmond的安装：yum install -y ganglia-gmond ganglia-gmond-python

4. 安装目录说明

● ganglia配置文件目录：/etc/ganglia

● rrd数据库存放目录：/var/lib/ganglia/rrds

● httpd主站点目录：/var/www/html

● ganglia-web安装目录：/usr/share/ganglia

● ganglia-web配置目录：/etc/httpd/conf.d/ganglia.conf

5. 关闭SELINUX

 
         vi /etc/selinux/config
        
         把SELINUX=enforcing改成SELINUX=disable；
        
         需要重启机器。

6. 关闭防火墙

 
         # chkconfig iptables off
        
         # chkconfig iptables --list
        
         iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off

7. 配置/etc/ganglia/gmetad.conf

修改data_source，改成：

 
         data_source "testcluster” 192.168.0.11:8650 #gmetad采集数据的目标gmond地址和端口(tcp_accept_channel)

8. 配置gmond

/etc/ganglia/gmond.conf，修改以下内容(这个gmond节点作为收集节点，这个节点可以是多个，最后需要在gmetad.conf上进行配置)：

 
         cluster {
        
         name = 
         "testcluster" 
         #设置集群的名称 
        
         #owner = "unspecified"
        
         latlong = 
         "unspecified" 
        
         url = 
         "unspecified" 
        
         }
        
         #发送到目标gmond的地址和端口（单播）
        
         udp_send_channel {
        
         host=192.168.0.11
        
         port = 8649
        
         ttl = 1
        
         }
        
         #接收udp的端口
        
         udp_recv_channel {
        
         port = 8649
        
         }
        
         #gmetad如果过来收集数据请求的端口
        
         tcp_accept_channel {
        
         port = 8650
        
         gzip_output = no
        
         }

9. 配置web

软连接方式

 
         >ln -s /usr/share/ganglia /var/www/ganglia

也可以将/usr/share/ganglia的内容直接复制到/var/www/ganglia

10. 修改/etc/httpd/conf.d/ganglia.conf，改成：

 
         Alias /ganglia /usr/share/ganglia
        
         <Location /ganglia>
        
         Order deny,allow
        
         Allow from all
        
         </Location>

11. 启动服务

 
         #service gmetad start
        
         #service gmond start
        
         #service httpd restart

至此，Ganglia的server端已经部署完成。

配置客户端：

12. 客户端只要配置gmond即可(需要先安装yum -y install ganglia-gmond ganglia-gmond-python)

/etc/ganglia/gmond.conf，修改以下内容(这个gmond节点作为收集节点，这个节点可以是多个，最后需要在gmetad.conf上进行配置)：

 
         cluster {
        
         name = 
         "testcluster" 
         #设置集群的名称 
        
         #owner = "unspecified"
        
         latlong = 
         "unspecified" 
        
         url = 
         "unspecified" 
        
         }
        
         #发送到目标gmond的地址和端口（单播）
        
         udp_send_channel {
        
         host=192.168.248.130
        
         port = 8649
        
         ttl = 1
        
         }
        
         #接收udp的端口
        
         udp_recv_channel {
        
         port = 8649
        
         }
        
         #gmetad如果过来收集数据请求的端口
        
         tcp_accept_channel {
        
         port = 8650
        
         gzip_output = no
        
         }

13. 配置HDFS、YARN集成Ganglia

修改hadoop-metrics2.properties

 
         # for Ganglia 3.1 support
        
         *.sink.ganglia.
         class
         =org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 
        
         *.sink.ganglia.period=10
        
         # default for supportsparse is false
        
         *.sink.ganglia.supportsparse=
         true 
        
         *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
        
         *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
        
         namenode.sink.ganglia.servers=192.168.0.11:8649 # host请参考gmond.conf中的定义
        
         datanode.sink.ganglia.servers=192.168.0.11:8649
        
         resourcemanager.sink.ganglia.servers=192.168.0.11:8649
        
         nodemanager.sink.ganglia.servers=192.168.0.11:8649
        
         mrappmaster.sink.ganglia.servers=192.168.0.11:8649
        
         jobhistoryserver.sink.ganglia.servers=192.168.0.11:8649

14. HBase集成Ganglia

修改hadoop-metrics2-hbase.properties

 
         *.sink.file*.
         class
         =org.apache.hadoop.metrics2.sink.FileSink 
        
         # default sampling period
        
         *.period=10
        
         *.source.filter.
         class
         =org.apache.hadoop.metrics2.filter.GlobFilter 
        
         *.record.filter.
         class
         =${*.source.filter.
         class
         } 
        
         *.metric.filter.
         class
         =${*.source.filter.
         class
         } 
        
         hbase.sink.ganglia.record.filter.exclude=*Regions*
        
         hbase.sink.ganglia.
         class
         =org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 
        
         hbase.sink.ganglia.tagsForPrefix.jvm=ProcessName
        
         *.sink.ganglia.period=20
        
         hbase.sink.ganglia.servers=192.168.0.11:8649 # host请参考gmond.conf中的定义

15. 拷贝配置文件到每一个需要监控的机器上

将hadoop-metrics2.properties拷贝到$HADOOP_HOME/etc/hadoop/目录下

将hadoop-metrics2-hbase.properties拷贝到$HBASE_HOME/conf目录下

重新启动hadoop&hbase软件，令其生效。

16. 启动监控端的gmond

 
         service gmond start

问题汇总：

客户端已经有信息传递，能看到整体CPU load等信息

2. 但是各个节点的信息都是空的，显示“no matching metrics detected or rrds not readable”

3. 查看RRDs信息

# cd /var/lib/ganglia/rrds

# ll

drwxr-xr-x 5 ganglia ganglia 4096 Jan 17 08:50 azcluster

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:59 __SummaryInfo__

4. 文件夹名是小写的

# ll

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__

5. 数据都已经传递过来了

# ls azcbetadnl05.envazure.com/|more

boottime.rrd

bytes_in.rrd

bytes_out.rrd

cpu_aidle.rrd

disk_free_absolute_data1.rrd

disk_free_absolute_data2.rrd

disk_free_absolute_data3.rrd

disk_free_absolute_data4.rrd

disk_free_absolute_data5.rrd

disk_free_absolute_dev_shm.rrd

disk_free_absolute_mnt_resource.rrd

......

6. 原因：/var/lib/ganglia/rrds中对各个节点相应的文件夹是小写，如果节点的hostname中包含大写字母的话，这样就发现找不到数据了。

解决方法：修改gmetad.conf，将case_sensitive_hostnames的值设置为1

# ls /etc/ganglia/

drwxr-xr-x 2 root root 4096 Jan 17 08:36 conf.d

-rw-r--r-- 1 root root 171 Oct 12 2015 conf.php

-rw-r--r-- 1 root root 9834 Jan 17 08:44 gmetad.conf

-rw-r--r-- 1 root root 8756 Jan 17 08:45 gmond.conf

# vi gmetad.conf

# In earlier versions of gmetad, hostnames were handled in a case

# sensitive manner

# If your hostname directories have been renamed to lower case,

# set this option to 0 to disable backward compatibility.

# From version 3.2, backwards compatibility will be disabled by default.

# default: 1 (for gmetad < 3.2)

# default: 0 (for gmetad >= 3.2)

case_sensitive_hostnames 1 #设置为1，则不会将大写变成小写

7. 修改完之后，到RRDs目录下查看结果。

# cd /var/lib/ganglia/rrds/azcluster

没有什么变化

# ls -al

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia 4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__

8. 重启gmetad，让配置生效

 
         # service gmetad restart
        
         Shutting down GANGLIA gmetad:                              [  OK  ]
        
         Starting GANGLIA gmetad:                                   [  OK  ]

9. 可以看到大写主机名的文件夹已经被创建

 
         # ls -al
        
         drwxr-xr-x 2 ganglia ganglia 32768 Jan 18 02:09 azcbetadnl05.envazure.com
        
         drwxr-xr-x 2 ganglia ganglia  4096 Jan 18 02:10 AZcbetadnL05.envazure.com    <<<<<<
        
         drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com
        
         drwxr-xr-x 2 ganglia ganglia  4096 Jan 18 02:10 AZcbetaLDAPL01.envazure.com    <<<<<<
        
         drwxr-xr-x 2 ganglia ganglia 36864 Jan 18 02:09 __SummaryInfo__

10. 可以看到信息已经过来了

 
         # ls -l AZcbetaLDAPL01.envazure.com
        
         -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 boottime.rrd
        
         -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_in.rrd
        
         -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_out.rrd
        
         -rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 cpu_aidle.rrd

11. 再看看网页显示，已经正常了。

本文转自 hsbxxl 51CTO博客，原文链接：http://blog.51cto.com/hsbxxl/2062477，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/473750

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hdfs日志上传脚本（二）

写了一个从服务器上拉日志的脚本，从多台服务器上拉日志，日志名称是相同的，且每天有两个日志文件生成，如每台服务器上都有如下两个文件：ok_2011-04-24_24H.rar，ok_2011-04-24_12H.rar。显然不能把所有日志放到同一目录中进行处理，而且要同时解压两个文件后才能进行下一步处理，我想到了使用awk打印出相应命令，然后再执行。 #!/bin/bash #2011-04-25byqinshan.li #downloadthetracklog # DIR="2233454647135136137" DAY=$(/bin/date+%F) #DAY=$(echo$1) forPin$DIR;do [[-d"/lzo/jiaxing/track/$P"]]||/bin/mkdir-p/lzo/jiaxing/track/$P MULU=/lzo/jiaxing/track/$P #Downloadtherarfiles. /usr/bin/wget-nc-r--exclude-directories=tmplog -nd -np -A "ok_${DAY}_*....

2017-11-08

562

准备工作：在192.168.129.35上搭建一个Hadoop环境，早上已经搞定，所以不说了可以参照附件的邮件<technical>canton hadoop environment in 192.168.129.35 Step 1：下载并解压Hadoop到本地机器（因为Eclipse需要这个Hadoop里面的部分Jar包充当其运行时）这个Hadoop可以在http://hadoop.apache.org/官方下载，我下载了0.20.2版本，并且解压到D:\hadoop-0.20.2 Step 2：下载Hadoop Eclipse插件并且放到Eclipse的dropin目录（或者plugin目录）这个插件可以在\\192.168.0.238\Canton\Software\Eclipse_Plugins\Hadoop_Eclipse目录下找到 Step 3: 重启Eclipse后（或者STS,我就是用的Spring Tool Suite反正都一样）在Window->Preference里面设置本地运行时，让其指向Step 1中的解压目录 Ste...

2017-11-08

520

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。