hive中打印日志的几种方式实现-低调大师

hive中打印日志的几种方式实现

2017-11-13 646

在debug hive的问题时，我们经常需要在源码里面增加必要的日志信息，来跟踪变量的变化或者是方法执行的情况，性能等。。hive里面有下面几个日志的实现方式。

1种是常用的通过

 
        org.apache.commons.logging.Log

和

 
        org.apache.commons.logging.LogFactory

类实现的。
比如要打印类的info信息时，只需要下面这样就可以。

 
        static 
        final 
        private 
        Log LOG = LogFactory.getLog(CLASS_NAME) 
       
        LOG.info(
        "xxxxxx"
        );

如果要跟踪一个方法的执行时间，只需要在在方法调用前后各加一条日志信息记录当前时间戳，然后取差值即可。

另一种是LogHelper

 
        org.apache.hadoop.hive.ql.session.SessionState.LogHelper

LogHelper类是SessionState的内部类

输出日志最终调用的是LOG.xxx和对应日志输出的println方法（比如System.out.println/log4j等）

但是日志只有两个级别，info和error。

以printInfo方法为例，具体实现：

 
        public 
        void 
        printInfo(String info, String detail) { 
       
        if 
        (!getIsSilent()) { 
       
        getInfoStream().println(info); 
       
        } 
       
        LOG.info(info + StringUtils.defaultString(detail));  
        //调用LOG.info(即第一种方法) 
       
        }

使用的sample:

 
        static 
        final 
        private 
        LogHelper console = 
        new 
        LogHelper (LOG); 
       
        console.printError(
        "Authorization failed:" 
        + authExp.getMessage() + 
        ". Use SHOW GRANT to get more details." 
        );

还有一种重要的类是PerfLogger类，可以实现记录方法执行时间的信息，在一些情况下可以取代第一种记录性能的方法。

PerfLogger类主要是用在Driver类的compile方法中，用来记录各个step使用的时间。

看下具体实现：

首先声明存储starttime和endtime的map:

 
        protected 
        final 
        Map<String, Long> startTimes = 
        new 
        HashMap<String, Long>(); 
       
        protected 
        final 
        Map<String, Long> endTimes = 
        new 
        HashMap<String, Long>();

主要方法：

1).构造方法可以传入一个boolean参数，控制是否reset(默认是false)

 
        protected 
        static 
        final 
        ThreadLocal<PerfLogger> perfLogger = 
        new 
        ThreadLocal<PerfLogger>(); 
       
        public 
        static 
        PerfLogger getPerfLogger(
        boolean 
        resetPerfLogger) { 
       
        if 
        (SessionState.get() == 
        null
        ) { 
       
        if 
        (perfLogger.get() == 
        null 
        || resetPerfLogger) { 
       
        perfLogger.set(
        new 
        PerfLogger()); 
       
        } 
       
        return 
        perfLogger.get(); 
       
        } 
        else 
        { 
       
        return 
        SessionState.get().getPerfLogger(resetPerfLogger); 
       
        } 
       
        }

2).PerfLogBegin 用来记录开始时间,主要是使用了LOG.info(第一种记录日志的方法)

 
        public 
        void 
        PerfLogBegin(String callerName, String method) { 
       
        long 
        startTime = System.currentTimeMillis(); 
       
        LOG.info( 
        "<PERFLOG method=" 
        + method + 
        " from=" 
        + callerName + 
        ">"
        );  
       
        startTimes.put(method, 
        new 
        Long(startTime));  
        //将方法和对应的startTime放在startTimes的map中 
       
        }

3).相应的PerfLogEnd用来记录结束时间

 
        public 
        long 
        PerfLogEnd(String callerName, String method) { 
       
        Long startTime = startTimes.get(method); 
       
        long 
        endTime = System. currentTimeMillis(); 
       
        long 
        duration = -
        1
        ; 
       
        endTimes.put(method, 
        new 
        Long(endTime)); 
       
        StringBuilder sb = 
        new 
        StringBuilder(
        "</PERFLOG method=" 
        ).append(method);  
       
        if 
        (startTime != 
        null
        ) { 
       
        sb.append( 
        " start="
        ).append(startTime); 
       
        } 
       
        sb.append(
        " end="
        ).append(endTime); 
       
        if 
        (startTime != 
        null
        ) { 
       
        duration = endTime - startTime.longValue(); 
       
        sb.append( 
        " duration="
        ).append(duration); 
       
        } 
       
        sb.append(
        " from="
        ).append(callerName).append( 
        ">"
        ); 
       
        LOG.info(sb);  
       
        return 
        duration; 
       
        }

getStartTime和getEndTime分别通过对应的map来获取starttime和endtime

4.是不是所有的method都可以用这种方法获取执行的性能？答案是no，在PerfLogger类中定义了部分属性，对应于method

 
  
    
      
      
          
        public 
        static 
        final 
        String ACQUIRE_READ_WRITE_LOCKS = 
        "acquireReadWriteLocks"
        ; 
       
 
          
        public 
        static 
        final 
        String COMPILE = 
        "compile"
        ; 
       
 
          
        public 
        static 
        final 
        String PARSE = 
        "parse"
        ; 
       
 
          
        public 
        static 
        final 
        String ANALYZE = 
        "semanticAnalyze"
        ; 
       
 
          
        public 
        static 
        final 
        String DO_AUTHORIZATION = 
        "doAuthorization"
        ; 
       
 
          
        public 
        static 
        final 
        String DRIVER_EXECUTE = 
        "Driver.execute"
        ; 
       
 
          
        public 
        static 
        final 
        String INPUT_SUMMARY = 
        "getInputSummary"
        ; 
       
 
          
        public 
        static 
        final 
        String GET_SPLITS = 
        "getSplits"
        ; 
       
 
          
        public 
        static 
        final 
        String RUN_TASKS = 
        "runTasks"
        ; 
       
 
          
        public 
        static 
        final 
        String SERIALIZE_PLAN = 
        "serializePlan"
        ; 
       
 
          
        public 
        static 
        final 
        String DESERIALIZE_PLAN = 
        "deserializePlan"
        ; 
       
 
          
        public 
        static 
        final 
        String CLONE_PLAN = 
        "clonePlan"
        ; 
       
 
          
        public 
        static 
        final 
        String TASK = 
        "task."
        ; 
       
 
          
        public 
        static 
        final 
        String RELEASE_LOCKS = 
        "releaseLocks"
        ; 
       
 
          
        public 
        static 
        final 
        String PRUNE_LISTING = 
        "prune-listing"
        ; 
       
 
          
        public 
        static 
        final 
        String PARTITION_RETRIEVING = 
        "partition-retrieving"
        ; 
       
 
          
        public 
        static 
        final 
        String PRE_HOOK = 
        "PreHook."
        ; 
       
 
          
        public 
        static 
        final 
        String POST_HOOK = 
        "PostHook."
        ; 
       
 
          
        public 
        static 
        final 
        String FAILURE_HOOK = 
        "FailureHook."
        ; 
       
 
          
        public 
        static 
        final 
        String DRIVER_RUN = 
        "Driver.run"
        ; 
       
 
          
        public 
        static 
        final 
        String TIME_TO_SUBMIT = 
        "TimeToSubmit"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_SUBMIT_TO_RUNNING = 
        "TezSubmitToRunningDag"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_BUILD_DAG = 
        "TezBuildDag"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_SUBMIT_DAG = 
        "TezSubmitDag"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_RUN_DAG = 
        "TezRunDag"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_CREATE_VERTEX = 
        "TezCreateVertex."
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_RUN_VERTEX = 
        "TezRunVertex."
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_INITIALIZE_PROCESSOR = 
        "TezInitializeProcessor"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_RUN_PROCESSOR = 
        "TezRunProcessor"
        ; 
       
 
          
        public 
        static 
        final 
        String TEZ_INIT_OPERATORS = 
        "TezInitializeOperators"
        ; 
       
 
          
        public 
        static 
        final 
        String LOAD_HASHTABLE = 
        "LoadHashtable"
        ; 
       
 
          
        public 
        static 
        final 
        String ORC_GET_SPLITS = 
        "OrcGetSplits"
        ; 
       
 
    

   
 

再来看一下其调用方式：

 
        比如org.apache.hadoop.hive.ql.Driver类中的compile方法：
       
        static 
        final 
        private 
        String CLASS_NAME = Driver. 
        class
        .getName(); 
       
        public 
        int 
        compile(String command, 
        boolean 
        resetTaskIds) { 
       
        PerfLogger perfLogger = PerfLogger.getPerfLogger(); 
        //实例化一个PerfLogger的对象 
       
        .......
       
        perfLogger.PerfLogBegin( CLASS_NAME, PerfLogger.PARSE);  
        //记录开始时间，传入本类的类名记录的方法（方法对应了PerfLogger类中对应的属性） 
       
        ParseDriver pd = 
        new 
        ParseDriver(); 
       
        ASTNode tree = pd.parse(command, ctx); 
       
        tree = ParseUtils.findRootNonNullToken(tree); 
       
        perfLogger.PerfLogEnd( CLASS_NAME, PerfLogger.PARSE);

记录parse消耗时间的对应日志：

 
  
    
      
      
        14
        /
        07
        /
        31 
        14
        :
        33
        :
        21 
        INFO log.PerfLogger: <PERFLOG method=parse from=org.apache.hadoop.hive.ql.Driver> 
       

        .....
       
 
        14
        /
        07
        /
        31 
        14
        :
        33
        :
        21 
        INFO log.PerfLogger: </PERFLOG method=parse start=
        1406788401914 
        end=
        1406788401916 
        duration=
        2 
        from=org.apache.hadoop.hive.ql.Driver> 
       
 
    

   
 

3种方法可以根据需要选择使用。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1541771，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434457

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive超级用户drop partition无权限问题bug

今天有个etl开发在drop partition的时候遇到了问题，因为是使用了自己的账号，而hdfs中对应partition的文件属主是hdfs的，在删除时会因为权限问题报错，切换用户为hdfs，做drop partition的错误，还是报错，看来没这么简单。查看表的hdfs属性，目录的属主不是hdfs且目录对hdfs没有写权限: 1 2 3 [hdfs @nfzm ~]$hadoopfs-ls-dhdfs: //xxxx:9000/bip/external_table/vipdw/droptest Found 1 items drwxr-xr-x-ericnihdfs 0 2014 - 08 - 21 17 : 13 hdfs: //xxxxx:9000/bip/external_table/vipdw/droptest drop partition报错,报hdfs用户没有权限，在hive中是设置了hdfs为超级管理员的，所以如果直接用hadoop fs命令是可以删除的，也就是权限问题不是出在hdfs上，而是在hive上，这里怎么会没有权限呢？ 1 2 hive(vipdw)>...

2017-11-14

623

hive0.13 cli启动缓慢问题

hive由0.11升级至0.13之后，cli的启动时间由5s增加为10s，影响了部分etl job的运行时间，经过debug，发现时间主要消耗在下面3个地方： 1. hadoop jar的时候要把相关的jar包上传到hdfs中（这里大概消耗5s，hive0.11一样，这个地方不太好优化） 2. 在每次hive cli启动的时候，初始化HiveMetaStore时，在init时，会调用下面3个方法，创建default db，role ,admin。具体代码： 1 2 3 4 5 synchronized (HMSHandler. class ){ createDefaultDB(); createDefaultRoles(); addAdminUsers(); } 生成环境这些都是有的，不需要每次都创建，这里可以直接注释掉. 3. 还有5s是在加载.hiverc的文件时造成的。在做Create function的analyze时，会通过FunctionSemanticAnalyzer类的addEntities方法操作元数据。在hive0.11中是没有这个方法的。关于这个方法，...

2017-11-14

539

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。