使用zabbix做聚合监控-低调大师

使用zabbix做聚合监控

2017-11-13 566

zabbix做为越来越受大家欢迎的监控工具，其相对于nagios,cacti之流，最大的一个特点就是数据是存放在关系型数据库中的，这样就可以极大的方便后续的数据查询，处理等，比如我们想知道一台机器全天ioutil 超过80的时间比例，在zabbix的数据库中，一个sql就可以搞定了，而在cacti中就不这么方便了，而且也不用担心数据随着时间的边长而被稀释掉。

在做zabbix的数据分析时，用到的比较多的表一般有hosts,items，interface,hisory*,trend*相关表，比如，通过zabbix监控整个hadoop集群的mapred的使用情况，只需要把每台机器的lastvalue进行聚合就好了。。

可以简单通过下面这种方式：

 
        #!/usr/bin/python
       
        #edit by ericni
       
        #to get hadoop totaol statistics
       
        # -*- coding: utf8 -*-
       
        import 
        MySQLdb 
       
        import 
        sys 
       
        import 
        os 
       
        def 
        get_total_value(sql): 
       
        db 
        = 
        MySQLdb.connect(host
        =
        'xxx'
        ,user
        =
        'xxxx'
        ,passwd
        =
        'xxx'
        ,db
        =
        'xxx'
        ) 
       
        cursor 
        = 
        db.cursor() 
       
        cursor.execute(sql) 
       
        try
        : 
       
        result 
        = 
        cursor.fetchone()[
        0
        ] 
       
        except
        : 
       
        result 
        = 
        0 
       
        cursor.close() 
       
        db.close() 
       
        return 
        result 
       
        if 
        __name__ 
        =
        = 
        '__main__'
        : 
       
        sql 
        = 
        '' 
       
        if 
        sys.argv[
        1
        ] 
        =
        = 
        "all_mapTaskSlots"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,mapTaskSlots]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_maps_running"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,maps_running]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_reduceTaskSlots"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,reduceTaskSlots]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_reduces_running"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_metrics[mrmetrics.log,mapred.tasktracker,reduces_running]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_ThreadsBlocked"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ =  'hadoop_stats[datanode,ThreadsBlocked]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_ThreadsRunnable"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ = 'hadoop_stats[datanode,ThreadsRunnable]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        elif 
        sys.argv[
        1
        ] 
        =
        = 
        "all_ThreadsWaiting"
        : 
       
        sql 
        = 
        "select sum(lastvalue) from  hosts a, items b   where key_ =  'hadoop_stats[datanode,ThreadsWaiting]' and lower(host) like '%-hadoop-datanode%'  and a.hostid = b.hostid" 
       
        else
        : 
       
        sys.exit(
        0
        ) 
       
        value 
        = 
        get_total_value(sql) 
       
        print 
        value

然后把可用的total map和total running map画在一个graph里面就可以知道map的使用率情况了。。

当然，zabbix也有自己的前端聚合的功能，不过相对来说，这样灵活性会高一些。。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1369808，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434649

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

impala集成kerberos问题一例

最近在折腾hadoop+kerberos，由于线上使用的组件比较多，遇到不少问题，记录下来，碰到同样问题的同学可以参考下。在hdfs+mapred+kerberos运行正常后，开始尝试集成impala. 其中statestore的参数： 1 2 export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DIR} \ -state_store_port=${IMPALA_STATE_STORE_PORT} -kerberos_reinit_interval=60 -principal=impala /xxxxxx @KERBEROS_HADOOP -keytab_file= /etc/impala/conf .dist /impala .keytab} impala-server的参数： 1 2 3 4 export IMPALA_SERVER_ARGS=${IMPALA_SERVER_ARGS:- -log_dir=${IMPALA_LOG_DIR} \ -state_stor...

2017-11-14

697

hive升级至0.11 partition schemal问题

线上由hive0.10升级到hive0.11之后，部分etl job运行出现问题，具体表现为：在分区表中，当改变table的表的字段类型之后，旧的partition数据可能会出现NULL的情况。这其实是hive0.11的一个新的特性，每个partition可以有自己的schemal信息。分析hive0.10和hive0.11 mysql中的元数据信息，发现在table的schemal更改后，两种版本下新的partition都会继承table的schemal，而老的partition不会改变。在hive0.11这个特性的描述中： Rows in partitions are now read using partition schema and than made to comply with table schema, instead of being read directly using table schema. 也就是说，hive0.11的partition都是直接读自己的column_v2表中的信息，而hive0.10是读table的信息，这个特性是默认开启的，这就造...

2017-11-14

489

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。