使用zabbix做聚合监控-低调大师

使用zabbix做聚合监控

2017-11-13 631

zabbix做为越来越受大家欢迎的监控工具，其相对于nagios,cacti之流，最大的一个特点就是数据是存放在关系型数据库中的，这样就可以极大的方便后续的数据查询，处理等，比如我们想知道一台机器全天ioutil 超过80的时间比例，在zabbix的数据库中，一个sql就可以搞定了，而在cacti中就不这么方便了，而且也不用担心数据随着时间的边长而被稀释掉。

在做zabbix的数据分析时，用到的比较多的表一般有hosts,items，interface,hisory*,trend*相关表，比如，通过zabbix监控整个hadoop集群的mapred的使用情况，只需要把每台机器的lastvalue进行聚合就好了。。

可以简单通过下面这种方式：

 
        #!/usr/bin/python
       
        #edit by ericni
       
        #to get hadoop totaol statistics
       
        # -*- coding: utf8 -*-
       
        import 
        MySQLdb 
       
        import 
        sys 
       
        import 
        os 
       
        def 
        get_total_value(sql): 
       
        db 
        = 
        MySQLdb.connect(host
        =
        'xxx'
        ,user
        =
        'xxxx'
        ,passwd
        =
        'xxx'
        ,db
        =
        'xxx'
        ) 
       
        cursor 
        = 
        db.cursor() 
       
        cursor.execute(sql) 
       
        try
        : 
       
        result 
        = 
        cursor.fetchone()[
        0
        ] 
       
        except
        : 
       
        result 
        = 
        0 
       
        cursor.close() 
       
        db.close() 
       
        return 
        result 
       
        if 
        __name__ 
        =
        = 
        '__main__'
        : 
       
        sql 
        = 
        '' 
       
        if 
        sys.argv[
        1
        ] 
        =
        = 
        "all_mapTaskSlots"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,mapTaskSlots]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_maps_running"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,maps_running]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_reduceTaskSlots"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,reduceTaskSlots]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_reduces_running"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,reduces_running]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_ThreadsBlocked"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ =  'hadoop_stats[datanode,ThreadsBlocked]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_ThreadsRunnable"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_stats[datanode,ThreadsRunnable]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_ThreadsWaiting"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ =  'hadoop_stats[datanode,ThreadsWaiting]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        else
        : 
       
        sys.exit(
        0
        ) 
       
        value 
        = 
        get_total_value(sql) 
       
        print 
        value

然后把可用的total map和total running map画在一个graph里面就可以知道map的使用率情况了。。

当然，zabbix也有自己的前端聚合的功能，不过相对来说，这样灵活性会高一些。。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1369808，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434649

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

impala集成kerberos问题一例

最近在折腾hadoop+kerberos，由于线上使用的组件比较多，遇到不少问题，记录下来，碰到同样问题的同学可以参考下。在hdfs+mapred+kerberos运行正常后，开始尝试集成impala. 其中statestore的参数： 1 2 export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DIR} \ -state_store_port=${IMPALA_STATE_STORE_PORT} -kerberos_reinit_interval=60 -principal=impala /xxxxxx @KERBEROS_HADOOP -keytab_file= /etc/impala/conf .dist /impala .keytab} impala-server的参数： 1 2 3 4 export IMPALA_SERVER_ARGS=${IMPALA_SERVER_ARGS:- -log_dir=${IMPALA_LOG_DIR} \ -state_stor...

2017-11-13

760

hive升级至0.11 partition schemal问题

线上由hive0.10升级到hive0.11之后，部分etl job运行出现问题，具体表现为：在分区表中，当改变table的表的字段类型之后，旧的partition数据可能会出现NULL的情况。这其实是hive0.11的一个新的特性，每个partition可以有自己的schemal信息。分析hive0.10和hive0.11 mysql中的元数据信息，发现在table的schemal更改后，两种版本下新的partition都会继承table的schemal，而老的partition不会改变。在hive0.11这个特性的描述中： Rows in partitions are now read using partition schema and than made to comply with table schema, instead of being read directly using table schema. 也就是说，hive0.11的partition都是直接读自己的column_v2表中的信息，而hive0.10是读table的信息，这个特性是默认开启的，这就造...

2017-11-13

554

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。