Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控，试用一段时间感觉还不错，监控项比较全面，配置简单，软件包在epel网络源中，使用yum安装方便快捷。
Ganglia是一个开源集群监控系统，主要用来监控系统性能，如：cpu、mem、硬盘利用率、I/O负载、网络流量等。
Ganglia涉及到三个组件：
gmetad：定期从gmond获取数据，并将数据存储到RRD存储引擎中。
gmond：被监控端代理程序，用于收集监控信息，并发送给gmetad。
ganglia-web：WEB前端，RRD绘图后通过PHP展示。
四、Ganglia集群监控系统部署
1. CentOS7 YUM源自带epel网络源，直接安装（部署到HMaster0上，尽量单独放一台机器上）
|
1
2
|
# yum install epel-release
# yum install ganglia-web ganglia-gmetad ganglia-gmond
|
此时会安装出来我们要安装的ganglia之外，还要安装httpd、php、rrdtool、gd、png、jpeg等相关软件包
2. 配置监控端（在HMaster0上配置）
2.1 配置监控程序
|
1
2
3
|
# vi /etc/ganglia/gmetad.conf #修改以下两项
data_source
"Hadoop"
192.168.18.215 192.168.18.216 192.168.18.217 192.168.18.218192.168.18.219
case_sensitive_hostnames 1
|
参数说明：
第一个是数据源，Hadoop是集群名字，后跟IP是集群中被监控节点地址。
第二个意思是是否区分主机名大小写，默认是0，修改为1，否则节点中主机名有大写的将保存为小写，写到/var/lib/ganglia/rrds/Hadoop中，导致图形无数据。
2.2 关联Apache，因为Ganglia自创建的配置ganglia.conf有问题，所以先删除，再创建个软连接到Apache根目录下。
|
1
2
|
# rm /etc/httpd/conf.d/ganglia.conf
# ln -s /usr/share/ganglia /var/www/html/ganglia
|
2.3启动Apache和Ganglia，并设置开机启动
|
1
2
3
4
|
# systemctl start httpd
# systemctl start gmetad
# systemctl enable httpd
# systemctl enable gmetad
|
3. 安装与配置被监控端（每台同样配置）
3.1 安装与配置代理程序
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
|
# yum install ganglia-gmond
# vi /etc/ganglia/gmond.conf
……
cluster{
name =
"Hadoop"
#集群名，和上面那个一样
owner =
"unspecified"
latlong =
"unspecified"
url =
"unspecified"
}
/* Thehost section describes attributes of the host, like the location */
host {
location =
"unspecified"
}
/*Feel
free
to specify as many udp_send_channels as you like. Gmond
used to only support having a single channel*/
udp_send_channel{
#bind_hostname = yes # Highly recommended,soon to be default.
# This option tells gmond to use asource address
# that resolves to themachine's hostname. Without
# this, the metrics mayappear to come from any
# interface and the DNSnames associated with
# those IPs will be usedto create the RRDs.
#mcast_join = 239.2.11.71 #关闭多播
host = 192.168.18.215
#添加发送IP/主机名
port = 8649
#默认端口
ttl = 1
}
/* Youcan specify as many udp_recv_channels as you like as well. */
udp_recv_channel{
#mcast_join = 239.2.11.71
port = 8649
bind = 192.168.18.215
#接收地址
retry_bind =
true
# Size of the UDP buffer. If you are handlinglots of metrics you really
# should bump it up to e.g. 10MB or evenhigher.
# buffer = 10485760
}
……
|
3.2 将修改好的gmond.conf配置scp到其他节点
|
1
|
# scp /etc/ganglia/gmond.conf root@HMaster1:/etc/ganglia/gmond.conf #分别拷贝HSlave0、1、2
|
3.3 启动代理程序，并设置开机启动
|
1
2
|
# systemctl start gmond
# systemctl enable gmond
|
4. 添加Hadoop被Ganglia监控，去掉文件中以***释并修改（每台同样配置）
|
1
2
3
4
5
6
7
8
9
10
|
# vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-metrics2.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
*.sink.ganglia.supportsparse=
true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
namenode.sink.ganglia.servers=192.168.18.215:8649
#当有多个ganglia监控系统时，以逗号分隔
datanode.sink.ganglia.servers=192.168.18.215:8649
#都指定ganglia服务器
resourcemanager.sink.ganglia.servers=192.168.18.215:8649
nodemanager.sink.ganglia.servers=192.168.18.215:8649
|
5. 添加HBase被Ganglia监控，添加如下（每台同样配置）
|
1
2
3
4
5
|
# vi /opt/hbase-1.0.1.1/conf/hadoop-metrics2-hbase.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
hbase.sink.ganglia.period=10
hbase.sink.ganglia.servers=192.168.18.215:8649
|
6. 重启Hadoop和HBase
|
1
2
3
4
5
6
|
# stop-dfs.sh
# stop-yarn.sh
# stop-hbase.sh
# start-dfs.sh
# start-yarn.sh
# start-hbase.sh #HRegionServer节点需要手动启动（hbase-daemon.sh start regionserver）
|
7. 通过WEB查看性能监控数据
访问地址：http://192.168.18.215/ganglia
本文转自 李振良OK 51CTO博客，原文链接：http://blog.51cto.com/lizhenliang/1669312，如需转载请自行联系原作者
微信关注我们
转载内容版权归作者及来源网站所有！
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。
Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。
Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。
Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。
扫码在手机上查看文章
扫描二维码，手机阅读更方便
有任何问题或合作意向欢迎联系我们
Email: 99873273@qq.com
QQ: 99873273