hadoop中的hive查询cdn访问日志指定时间段内url访问次数最多的前10位（结合python语言）-低调大师

hadoop中的hive查询cdn访问日志指定时间段内url访问次数最多的前10位（结合python语言）

2017-11-11 623

hadoop环境描述：

master节点：node1

slave节点：node2，node3，node4

远端服务器（python连接hive）：node29

需求：通过hive查询到cdn日志中指定时间段内url访问次数最多的前10个url

ps：用pig查询可以查询文章：

http://shineforever.blog.51cto.com/1429204/1571124

说明：python操作远程操作需要使用Thrift接口：

hive源码包下面自带Thrift插件：

[root@node1 shell]# ls -l /usr/local/hive-0.8.1/lib/py

total 28

drwxr-xr-x 2 hadoop hadoop 4096 Nov 5 15:29 fb303

drwxr-xr-x 2 hadoop hadoop 4096 Oct 15 10:30 fb303_scripts

drwxr-xr-x 2 hadoop hadoop 4096 Nov 5 15:29 hive_metastore

drwxr-xr-x 2 hadoop hadoop 4096 Oct 15 10:30 hive_serde

drwxr-xr-x 2 hadoop hadoop 4096 Nov 5 15:29 hive_service

drwxr-xr-x 2 hadoop hadoop 4096 Nov 5 15:20 queryplan

drwxr-xr-x 6 hadoop hadoop 4096 Nov 5 15:20 thrift

1)把相关文件scp到远端的node29相关目录下：

scp -r /usr/local/hive-0.8.1/lib/py/* 172.16.41.29:/usr/local/hive_py/.

2) 在node1服务器上开发hive：

[hadoop@node1 py]$ hive --service hiveserver

Starting Hive Thrift Server

3）在node29上编写查询脚本：

 
        #!/usr/bin/env python
       
        #coding:utf-8
       
        #找出cdn日志指定时间段，url访问次数最多的前10个；
       
        import 
        sys 
       
        import 
        os 
       
        import 
        string 
       
        import 
        re 
       
        import 
        MySQLdb 
       
        #加载hive的python相关库文件；
       
        sys.path.append(
        '/usr/local/hive_py'
        ) 
       
        from 
        hive_service 
        import 
        ThriftHive 
       
        from 
        hive_service.ttypes 
        import 
        HiveServerException 
       
        from 
        thrift 
        import 
        Thrift 
       
        from 
        thrift.transport 
        import 
        TSocket 
       
        from 
        thrift.transport 
        import 
        TTransport 
       
        from 
        thrift.protocol 
        import 
        TBinaryProtocol 
       
        dbname
        =
        "default" 
       
        hsql
        =
        "select request,count(request) as counts 
        from 
        cdnlog where time >
        = 
        '[27/Oct/2014:10:40:00 +0800]' 
        and 
        time <
        = 
        '[
        27
        /
        Oct
        /
        2014
        :
        10
        :
        49 
       
        :
        59 
        +
        0800
        ]' group by request order by counts desc limit 
        10
        " 
       
        def 
        hiveExe(hsql,dbname): 
       
        try
        : 
       
        transport 
        = 
        TSocket.TSocket(
        '172.16.41.151'
        , 
        10000
        ) 
       
        transport 
        = 
        TTransport.TBufferedTransport(transport) 
       
        protocol 
        = 
        TBinaryProtocol.TBinaryProtocol(transport) 
       
        client 
        = 
        ThriftHive.Client(protocol) 
       
        transport.
        open
        () 
       
        #加载增长表达式支持，必需(以下加载路径为远端hive路径，不是脚本的本地路径！)
       
        client.execute(
        'add jar /usr/local/hive-0.8.1/lib/hive_contrib.jar'
        ) 
       
        #        client.execute("use " + dbname)
       
        #        row = client.fetchOne()
       
        client.execute(hsql) 
       
        return 
        client.fetchAll() 
        #查询所有数据； 
       
        transport.close() 
       
        except 
        Thrift.TException, tx: 
       
        print 
        '%s' 
        % 
        (tx.message) 
       
        if 
        __name__ 
        =
        = 
        '__main__'
        : 
       
        results
        =
        hiveExe(hsql,dbname) 
       
        num
        =
        len
        (results) 
       
        for 
        i 
        in 
        range
        (num):

在node29上执行脚本，输入结果为：

node1服务器上hive计算过程为：

本文转自 shine_forever 51CTO博客，原文链接:http://blog.51cto.com/shineforever/1573439

微信关注我们

原文链接：https://yq.aliyun.com/articles/477263

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

记录日志系统ELKB 5.6.4的搭建过程

前言 ELK是最近比较流行的免费的日志系统解决方案，注意，ELK不是一个软件名，而是一个结局方案的缩写，即Elasticsearch+Logstash+Kibana（ELK Stack）。这哥几个都是java系的产品，但是众所周知，java的东西很吃内存和CPU，Logstash在当作为收集日志的Agent时，就显得太过臃肿了。听说直播平台“斗鱼”团队很为logstash占用资源的情况很而苦恼，后来为了解决这个问题，他们自己写了一个agent。不过后来官方在logstash-forwarder的基础上推出了beat系列，里面包括四个兄弟，分别是：Packetbeat（搜集网络流量数据）；Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；Filebeat（搜集文件数据）；Winlogbeat（搜集 Windows 事件日志数据）。而Filebeat也就这样加入了“日志收集分析”的团队里，所以虽然大家还是习惯性的叫ELK，其实准确的说法已经是ELKB了。 ELKB这几个哥们的分工如下： Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易...

2017-11-12

560

hadoop环境介绍： master服务：node1 slave服务器：node2，node3，node4 mysql服务器：node29 Thrift安装在node1服务器上！相关软件版本： hadoop版本：hadoop-0.20.2 sqoop版本：sqoop-1.2.0-CDH3B4 java版本：jdk1.7.0_67 mysql版本：5.1.65 Thrift版本：thrift-0.9.0 thrift安装链接：http://thrift.apache.org/download/ python版本：2.7.3 ps：python2.5版本使用thrift有问题一：测试前的准备工作 1）首先把mysql数据库中数据加载到hbase中： mysql数据如下：将mysql的数据导入hbase的命令格式为： sqoop import --connect jdbc:mysql://mysqlserver_IP/databaseName --username --password password --table datatable --hbase-create-table --...

2017-11-12

499

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。