hive lock监控-低调大师

hive lock监控

2017-11-13 620

线上开启了hive的并发支持，因此job之间会有lock的竞争问题。

在产生锁的竞争时会有如下的信息：

conflicting lock present for table mode EXCLUSIVE

在一些场景下，有些job运行完毕但是不自动释放锁（需要手动unlock或者去zookeeper里面删除掉），因此需要对锁进行监控,主要是用show locks的信息。

具体的python脚本如下：

 
        import 
        os 
       
        import 
        subprocess 
       
        import 
        util 
       
        import 
        re 
       
        import 
        sendmail 
       
        import 
        time 
       
        import 
        sys 
       
        import 
        property 
       
        if 
        __name__ 
        =
        = 
        "__main__"
        : 
       
        allInfo 
        = 
        [] 
       
        now 
        = 
        time.time() 
       
        sql 
        = 
        "show locks" 
       
        lock_query_id 
        = 
        "" 
       
        lock_create_time 
        = 
        "" 
       
        lock_sql 
        = 
        "" 
       
        allLock 
        =  
        util.hive_run_cmd(sql) 
       
        for 
        line 
        in 
        allLock: 
       
        if 
        len
        (re.split(
        '\t| '
        ,line)[
        0
        ].split(
        '@'
        )) 
        =
        = 
        2
        : 
       
        dataBase 
        = 
        re.split(
        '\t| '
        ,line)[
        0
        ].split(
        '@'
        )[
        0
        ] 
       
        dataTable 
        = 
        re.split(
        '\t| '
        ,line)[
        0
        ].split(
        '@'
        )[
        1
        ] 
       
        lockType 
        = 
        re.split(
        '\t| '
        ,line)[
        -
        1
        ].strip() 
       
        print 
        dataBase
        + 
        "===" 
        + 
        dataTable 
        +  
        "===" 
        + 
        lockType 
       
        util.get_lock_info(allInfo,database
        =
        dataBase,table
        =
        dataTable,keytype
        =
        lockType) 
       
        else
        : 
       
        dataBase 
        = 
        re.split(
        '\t| '
        ,line)[
        0
        ].split(
        '@'
        )[
        0
        ] 
       
        dataTable 
        = 
        re.split(
        '\t| '
        ,line)[
        0
        ].split(
        '@'
        )[
        1
        ] 
       
        dataPartition 
        = 
        re.split(
        '\t| '
        ,line)[
        0
        ].split(
        '@'
        )[
        2
        ].replace(
        '/'
        ,
        ','
        ) 
       
        lockType 
        = 
        re.split(
        '\t| '
        ,line)[
        -
        1
        ].strip() 
       
        print 
        dataBase
        + 
        "===" 
        + 
        dataTable 
        +  
        "===" 
        + 
        lockType 
        + 
        "====" 
        + 
        dataPartition 
       
        util.get_lock_info(allInfo,database
        =
        dataBase,table
        =
        dataTable,keytype
        =
        lockType,partition
        =
        dataPartition) 
       
        print 
        allInfo 
       
        if 
        len
        (allInfo) 
        =
        = 
        0
        : 
       
        pass 
       
        #sys.exit(0) 
       
        else
        : 
       
        mailfile 
        = 
        open
        (
        "/home/hdfs/ericni/lock_monitor/mail/lock_table_"
        + 
        str
        (now) 
        + 
        ".html"
        ,
        "w+"
        ) 
       
        mailcontent 
        = 
        """ 
       
        <table  border=1> 
       
        <tr align="right" valign="middle"> 
       
        <th>TABLE</th><th>LOCK_TYPE</th><th>LOCK_TIME</th><th>QUERY_ID</th><th>SQL</th> 
       
        </tr> 
       
        """ 
       
        for 
        line 
        in 
        allInfo: 
       
        if 
        len
        (line) < 
        5
        : 
       
        pass 
       
        else
        : 
       
        re_table 
        = 
        line[
        0
        ] 
       
        re_type 
        = 
        line[
        1
        ] 
       
        re_time 
        = 
        float
        (now) 
        - 
        float
        (line[
        3
        ]) 
       
        print 
        re_time 
       
        re_query 
        = 
        line[
        2
        ] 
       
        re_sql 
        = 
        line[
        4
        ] 
       
        if 
        (re_time >
        = 
        1800  
        and 
        str
        (re_type) 
        =
        = 
        "SHARED"
        ) 
        or 
        (re_time >
        = 
        600 
        and 
        str
        (re_type) 
        =
        = 
        "EXCLUSIVE"
        ): 
       
        print 
        "++++++++++++++++++++++++++++++++++++++++++++++" 
       
        cmd 
        = 
        "/bin/touch /tmp/alert.file" 
       
        os.popen(cmd) 
       
        mailcontent 
        +
        = 
        """ 
       
        <tr align="right" valign="middle"> 
       
        <td>%s</td> 
       
        """ 
        % 
        (re_table) 
       
        mailcontent 
        +
        = 
        """ 
       
        <td>%s</td> 
       
        """  
        % 
        (re_type) 
       
        mailcontent 
        +
        = 
        """ 
       
        <td bgcolor='#F80000'>%s</td> 
       
        """  
        % 
        (
        round
        (
        float
        (re_time),
        2
        )) 
       
        mailcontent 
        +
        = 
        """ 
       
        <td>%s</td> 
       
        """  
        % 
        (re_query) 
       
        mailcontent 
        +
        = 
        """ 
       
        <td>%s</td> 
       
        """  
        % 
        (re_sql) 
       
        mailcontent 
        +
        = 
        "</tr>" 
       
        else
        : 
       
        pass 
       
        mailcontent 
        +
        = 
        "</table>" 
       
        mailfile.write(mailcontent) 
       
        if 
        not 
        os.path.isfile(
        "/tmp/alert.file"
        ): 
       
        print 
        "no need to alert" 
       
        sys.exit(
        0
        ) 
       
        else
        : 
       
        print 
        "+++______++++" 
       
        cmd 
        = 
        "/bin/rm -f /tmp/alert.file" 
       
        os.popen(cmd) 
       
        sendmail.send_mail_withoutSSL( 
        "HIVE table lock alert"
        ,mailcontent.encode(
        'utf-8'
        ),
        property
        .mail_list_hdfs)

产生的报警邮件如下：

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1344439，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434726

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

构建一个比较完善的监控系统

在工作中或多或少接触过部分监控工具的构建，开发和完善。结合自己的一些看法，简单地谈下一个完整的监控系统所包含的组件，欢迎大家补充。从监控的层面来看，一个比较完整的监控系统应该包含如下的层次： 1.网络层面主要包含各个机房间网络状况，机房内机器网络状况，通过开源的工具smokeping可以做到 2.主机层面对于网络设备来说，包括cpu,内存，端口速率，流量等对于服务器来说，从硬件到系统层面都要进行完善的监控，底层的比如raid卡状态，磁盘容量使用状态，inode使用状况，是否只读，是否有坏道，内存使用，网卡是否百M，网卡流量等。再上面比如负载，cpu使用，磁盘io，操作系统参数，文件描述符，网络连接数，队列，系统日志等等，现在用的比较多的工具是zabbix，nagios和cacti。 3.应用层面可用性监控包括进程的状态，端口的状况，存活的检查等，比如监控nginx，需要监控nginx的端口状态，进程是否存活，监控dns，需要监控端口，进程，还可以监控记录是否正常解析。这些可以简单地通过zabbix实现。 4.应用层面性能监控在应用层仅仅做可用性的监控是不够的，还要对应用...

2017-11-14

583

Hadoop、Hbase完全分布式搭建

一、Hadoop1.0到2.0的架构变化 1、Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成 2、HDFSNN Federation、HA 3、MapReduce运行在YARN上的MR 4、YARN资源管理系统二、HDFS 2.0 1、解决HDFS 1.0中单点故障和内存受限问题。 2、解决单点故障 HDFS HA通过主备NameNode解决如果主NameNode发生故障则切换到备NameNode上 3、解决内存受限问题 HDFS Federation(联邦) 水平扩展支持多个NameNode 每个NameNode分管一部分目录所有NameNode共享所有DataNode存储资 4、仅是架构上发生了变化使用方式不变对HDFS使用者透明 HDFS 1.0中的命令和API仍可以使用$ hadoop fs -ls /user/hadoop/$ hadoop fs -mkdir /user/hadoop/data 三、HDFS 2.0 HA 1、主备NameNode 2、解决单点故障主NameNode对外提供服务备NameNode同步...

2017-11-14

618

发表评论

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。