hive on tez踩坑记2-hive0.14 on tez-低调大师

hive on tez踩坑记2-hive0.14 on tez

2017-11-14 792

在测试hive0.14.0 on tez时遇到的问题比较多：
1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题

 
        java.lang.NoSuchMethodError: org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I
       
        at org.apache.hadoop.hive.ql.exec.tez.TezJobMonitor.printStatusInPlace(TezJobMonitor.java:
        613
        ) 
       
        at org.apache.hadoop.hive.ql.exec.tez.TezJobMonitor.monitorExecution(TezJobMonitor.java:
        311
        ) 
       
        at org.apache.hadoop.hive.ql.exec.tez.TezTask.execute(TezTask.java:
        167
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:
        160
        ) 
       
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:
        85
        ) 
       
        at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:
        1604
        ) 
       
        at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:
        1364
        ) 
       
        at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:
        1177
        ) 
       
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:
        1004
        ) 
       
        at org.apache.hadoop.hive.ql.Driver.run(Driver.java:
        994
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:
        247
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:
        199
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:
        410
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:
        783
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:
        677
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:
        616
        ) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
        39
        ) 
       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
        25
        ) 
       
        at java.lang.reflect.Method.invoke(Method.java:
        597
        ) 
       
        at org.apache.hadoop.util.RunJar.main(RunJar.java:
        212
        )

通过堆栈可以看出是在tez job提交之后报的错，在org.apache.hadoop.hive.ql.exec.tez.TezTask中
job通过submit方法提交后，实例化一个TezJobMonitor 对象，用来记录tez job的运行情况:

 
        // submit will send the job to the cluster and start executing
       
        client = submit(jobConf, dag, scratchDir, appJarLr, session,
       
        additionalLr, inputOutputJars, inputOutputLocalResources);
       
        // finally monitor will print progress until the job is done
       
        TezJobMonitor monitor = 
        new 
        TezJobMonitor(); 
       
        rc = monitor.monitorExecution(client, ctx.getHiveTxnManager(), conf, dag);

TezJobMonitor.monitorExecution方法中：

 
        boolean 
        isProfileEnabled = conf.getBoolVar(conf, HiveConf.ConfVars.TEZ_EXEC_SUMMARY); 
        //hive.tez.exec.print.summary,默认为false 
       
        boolean 
        inPlaceUpdates = conf.getBoolVar(conf, HiveConf.ConfVars.TEZ_EXEC_INPLACE_PROGRESS); 
        //hive.tez.exec.inplace.progress，默认为true 
       
        boolean 
        wideTerminal = 
        false
        ; 
       
        boolean 
        isTerminal = inPlaceUpdates == 
        true 
        ? isUnixTerminal() : 
        false
        ; 
       
        // we need at least 80 chars wide terminal to display in-place updates properly
       
        if 
        (isTerminal) { 
       
        if 
        (getTerminalWidth() >= MIN_TERMINAL_WIDTH) { 
       
        wideTerminal = 
        true
        ; 
       
        } 
       
        }
       
        boolean 
        inPlaceEligible = 
        false
        ; 
       
        if 
        (inPlaceUpdates && isTerminal && wideTerminal && !console.getIsSilent()) { 
       
        inPlaceEligible = 
        true
        ; 
       
        }
       
        //进入一个while循环，判断 job的状态，并运行printStatusInPlace或者printStatus方法(其中printStatus最终调用getReport方法)
       
        ......
       
        case 
        RUNNING: 
       
        if 
        (!running) { 
       
        perfLogger.PerfLogEnd(CLASS_NAME, PerfLogger.TEZ_SUBMIT_TO_RUNNING); 
       
        console.printInfo(
        "Status: Running (" 
        + dagClient.getExecutionContext() + 
        ")\n"
        ); 
       
        startTime = System.currentTimeMillis(); 
       
        running = 
        true
        ; 
       
        } 
       
        if 
        (inPlaceEligible) { 
       
        printStatusInPlace(progressMap, startTime, 
        false
        , dagClient); 
       
        // log the progress report to log file as well 
       
        lastReport = logStatus(progressMap, lastReport, console); 
       
        } 
        else 
        { 
       
        lastReport = printStatus(progressMap, lastReport, console); 
       
        } 
       
        break
        ;

比如在printStatusInPlace方法中：

 
        SortedSet<String> keys = 
        new 
        TreeSet<String>(progressMap.keySet()); 
       
        int 
        idx = 
        0
        ; 
       
        int 
        maxKeys = keys.size(); 
       
        for 
        (String s : keys) { 
       
        idx++; 
       
        Progress progress = progressMap.get(s); 
       
        final 
        int 
        complete = progress.getSucceededTaskCount(); 
       
        final 
        int 
        total = progress.getTotalTaskCount(); 
       
        final 
        int 
        running = progress.getRunningTaskCount(); 
       
        final 
        int 
        failed = progress.getFailedTaskAttemptCount(); 
        // 会调用Progress类getFailedTaskAttemptCount方法获取失败的task数 
       
        final 
        int 
        pending = progress.getTotalTaskCount() - progress.getSucceededTaskCount() - 
       
        progress.getRunningTaskCount(); 
       
        final 
        int 
        killed = progress.getKilledTaskCount();

在0.5.0的tez中org.apache.tez.dag.api.client.Progress类没有getFailedTaskAttemptCount方法
在0.5.2的tez中才开始增加这个方法，因此要想使用hive0.14.0的话，需要使用tez-0.5.2以上的版本

2.升级至hive0.14.0+tez-0.5.2之后，发现如下错误：

 
        15
        /
        01
        /
        13 
        14
        :
        09
        :
        21 
        INFO client.TezClient: The url to track the Tez Session: http:
        //xxxx:8042/proxy/application_1416818587155_0049/ 
       
        Exception in thread 
        "main" 
        java.lang.RuntimeException: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown 
       
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:
        457
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:
        672
        ) 
       
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:
        616
        ) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
        39
        ) 
       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
        25
        ) 
       
        at java.lang.reflect.Method.invoke(Method.java:
        597
        ) 
       
        at org.apache.hadoop.util.RunJar.main(RunJar.java:
        212
        ) 
       
        Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown
       
        at org.apache.tez.client.TezClient.waitTillReady(TezClient.java:
        599
        ) 
       
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open(TezSessionState.java:
        212
        ) 
       
        at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open(TezSessionState.java:
        122
        ) 
       
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:
        454
        ) 
       
        ... 
        7 
        more

可以看到是由于在session初始化异常导致，异常是由TezSessionState.open方法抛出：

 
        ....
       
        try 
        { 
       
        session.waitTillReady(); 
       
        } 
        catch
        (InterruptedException ie) { 
       
        //ignore 
       
        }

其中session为TezClient的实例，在TezClient.waitTillReady方法中

 
        public 
        synchronized 
        void 
        waitTillReady() 
        throws 
        IOException, TezException, InterruptedException { 
       
        if 
        (!isSession) { 
       
        // nothing to wait for in non-session mode 
       
        return
        ; 
       
        } 
       
        verifySessionStateForSubmission(); 
       
        while 
        (
        true
        ) { 
       
        TezAppMasterStatus status = getAppMasterStatus(); 
        //这里getAppMasterStatus方法返回了TezAppMasterStatus.SHUTDOWN 
       
        if 
        (status.equals(TezAppMasterStatus.SHUTDOWN)) { 
       
        throw 
        new 
        SessionNotRunning(
        "TezSession has already shutdown"
        ); 
       
        } 
       
        if 
        (status.equals(TezAppMasterStatus.READY)) { 
       
        return
        ; 
       
        } 
       
        Thread.sleep(SLEEP_FOR_READY); 
       
        } 
       
        }

这里创建TezClient时设置了为sessionmode，并且getAppMasterStatus返回了TezAppMasterStatus.SHUTDOWN，导致在waitTillReady方法中抛出异常，即TezAppMaster没有启动正常导致，查看nm的日志，发现由如下报错：

 
        2015
        -
        01
        -
        13 
        16
        :
        27
        :
        58
        ,
        162 
        WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with container ID: container_1416818587155_0060_01_000001 and exit code: 
        1 
       
        ExitCodeException exitCode=
        1
        : 
       
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:
        538
        ) 
       
        at org.apache.hadoop.util.Shell.run(Shell.java:
        455
        ) 
       
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:
        702
        ) 
       
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:
        196
        ) 
       
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:
        299
        ) 
       
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:
        81
        ) 
       
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:
        303
        ) 
       
        at java.util.concurrent.FutureTask.run(FutureTask.java:
        138
        ) 
       
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:
        886
        ) 
       
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:
        908
        ) 
       
        at java.lang.Thread.run(Thread.java:
        662
        )

是由于启动am的container异常报错，查看对应的container日志：

 
        2015
        -
        01
        -
        13 
        17
        :
        34
        :
        59
        ,
        731 
        FATAL [main] app.DAGAppMaster: Error starting DAGAppMaster 
       
        java.lang.VerifyError: 
        class 
        org.apache.hadoop.yarn.proto.YarnProtos$ApplicationIdProto overrides 
        final 
        method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet; 
       
        at java.lang.ClassLoader.defineClass1(Native Method) 
       
        at java.lang.ClassLoader.defineClassCond(ClassLoader.java:
        631
        ) 
       
        at java.lang.ClassLoader.defineClass(ClassLoader.java:
        615
        ) 
       
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:
        141
        ) 
       
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:
        283
        ) 
       
        at java.net.URLClassLoader.access$
        000
        (URLClassLoader.java:
        58
        ) 
       
        at java.net.URLClassLoader$
        1
        .run(URLClassLoader.java:
        197
        ) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at java.net.URLClassLoader.findClass(URLClassLoader.java:
        190
        ) 
       
        at java.lang.ClassLoader.loadClass(ClassLoader.java:
        306
        ) 
       
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:
        301
        ) 
       
        at java.lang.ClassLoader.loadClass(ClassLoader.java:
        247
        ) 
       
        at java.lang.Class.getDeclaredConstructors0(Native Method) 
       
        at java.lang.Class.privateGetDeclaredConstructors(Class.java:
        2389
        ) 
       
        at java.lang.Class.getConstructor0(Class.java:
        2699
        ) 
       
        at java.lang.Class.getConstructor(Class.java:
        1657
        ) 
       
        at org.apache.hadoop.yarn.factories.impl.pb.RecordFactoryPBImpl.newRecordInstance(RecordFactoryPBImpl.java:
        62
        ) 
       
        at org.apache.hadoop.yarn.util.Records.newRecord(Records.java:
        36
        ) 
       
        at org.apache.hadoop.yarn.api.records.ApplicationId.newInstance(ApplicationId.java:
        49
        ) 
       
        at org.apache.hadoop.yarn.util.ConverterUtils.toApplicationAttemptId(ConverterUtils.java:
        137
        ) 
       
        at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:
        177
        ) 
       
        at org.apache.tez.dag.app.DAGAppMaster.main(DAGAppMaster.java:
        1794
        )

看样子是protoc-buf兼容的问题。
cdh5.2.0默认使用protobuf-java-2.5.0.jar，hive0.14.0默认使用protobuf-java-2.5.0.jar,tez 0.5.2也使用pb2.5.0编译，理论上应该不会有pb兼容性问题，怀疑是在tezam启动时加载了2.4.0a 的pb，需要查看启动命令，找到对应的classpath:
通过更改org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor类，增加Thread.sleep来查看启动am的shell，重新编译cdh5.2.0包（主要需要java7支持 range [1.7.0,1.7.1000}]，编译时跳过native: mvn package -DskipTests -Pdist -Dtar -e -X）,
并替换./share/hadoop/yarn/hadoop-yarn-server-nodemanager-2.5.0-cdh5.2.0.jar 测试：
shell的调用如下：

 
        default_container_executor.sh-->default_container_executor_session.sh-->launch_container.sh

而在launch_container.sh脚本：

 
        export HADOOP_COMMON_HOME=
        "/home/vipshop/platform/hadoop-2.5.0-cdh5.2.0"  
        #先设置相关的变量 
       
        export CLASSPATH=
        "$PWD:$PWD/*:$HADOOP_CONF_DIR:" 
        #这里重设了CLASSPATH 
       
        export HADOOP_TOKEN_FILE_LOCATION=
        "/home/vipshop/hard_disk/7/yarn/local/usercache/hdfs/appcache/application_1416818587155_0075/container_1416818587155_0075_01_000001/container_tokens" 
       
        ....
       
        ln -sf 
        "/home/vipshop/hard_disk/10/yarn/local/filecache/42/hadoop-yarn-api-2.5.0.jar" 
        "hadoop-yarn-api-2.5.0.jar"  
        #建立相关jar的软连接到本地目录 
       
        hadoop_shell_errorcode=$?
       
        if 
        [ $hadoop_shell_errorcode -ne 
        0 
        ] 
       
        then
       
        exit $hadoop_shell_errorcode 
       
        fi
       
        .....
       
        exec /bin/bash -c "$JAVA_HOME/bin/java  -Xmx819m -server
       
        -Djava.net.preferIPv4Stack=
        true 
        -Dhadoop.metrics.log.level=WARN  
       
        -XX:+PrintGCDetails -verbose:gc -XX:+PrintGCTimeStamps -XX:+UseNUMA 
       
        -XX:+UseParallelGC -Dlog4j.configuration=tez-container-log4j.properties 
       
        -Dyarn.app.container.log.dir=/home/vipshop/hard_disk/
        9
        /yarn/logs/ 
       
        application_1416818587155_0075/container_1416818587155_0075_01_000001  
       
        -Dtez.root.logger=INFO,CLA -Dsun.nio.ch.bugLevel=
        '' 
       
        org.apache.tez.dag.app.DAGAppMaster --session 
        1
        >/home/vipshop/hard_disk/
        9
        / 
       
        yarn/logs/application_1416818587155_0075/container_1416818587155_0075_01_000001/ 
       
        stdout 
        2
        >/home/vipshop/hard_disk/
        9
        /yarn/logs/application_1416818587155_0075/ 
       
        container_1416818587155_0075_01_000001/stderr "

 
        #最后运行 java  org.apache.tez.dag.app.DAGAppMaster,即
       
        org.apache.tez.dag.app.DAGAppMaster的main方法，启动DAGAppMaster

CLASSPATH为shell所在的目录,比如这里

 
        CLASSPATH='/home/vipshop/hard_disk/
        11
        /yarn/local/usercache/hdfs/appcache/ 
       
        application_1416818587155_0079/container_1416818587155_0079_01_000001:
       
        /home/vipshop/hard_disk/
        11
        /yarn/local/usercache/hdfs/appcache/ 
       
        application_1416818587155_0079/container_1416818587155_0079_01_000001/*:
       
        /home/vipshop/conf:'

在shell的当前目录下查找包含pb的包，发现有一个hive-solr中集成了pb，并且查看到其pb版本为2.4.0a：

 
  
    
      
      
        for 
        i in `find . -name 
        "*.jar"
        `; 
        do 
        echo $i `jar -tvf $i|grep GeneratedMessage|wc -l`; done|awk 
        '{if($2>0) print}'                        
       
 
        ./protobuf-java-
        2.5
        .
        0
        .jar 
        31  
        //2.5.0 
       
 
        ./hive-exec-
        0.14
        .
        0
        -dfffe4217f40bd764977b741ad970a562e07fb99992f0180620bd13f68a2577b.jar 
        31 
        //2.5.0 
       
 
        ./hive-solr-
        0.0
        .
        1
        -SNAPSHOT-jar-with-dependencies.jar  
        //2.4.0a 
       
 
    

   
 

这就导致在container启动时，classloader加载到了2.4.0a的pb，最终导致container启动失败。使用2.5.0的pb重新编译这个jar包后，hive on tez就运行正常了。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1604100，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434311

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

PIG之 Hadoop 2.7.4 + pig-0.17.0 安装

首先: 参考http://blog.csdn.net/zhang123456456/article/details/77621487 搭建好hadoop集群。然后，在master节点安装pig。我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另一方面，编写MapReduce程序，发布及运行作业都将是一个比较耗时的事情。 Pig的出现很好的弥补了这一不足。Pig能够让你专心于数据及业务本身，而不是纠结于数据的格式转换以及MapReduce程序的编写。本质是上来说，当你使用Pig进行处理时，Pig本身会在后台生成一系列的MapReduce操作来执行任务，但是这个过程对用户来说是透明的。 Pig的安装 Pig作为客户端程序运行，即使你准备在Hadoop集群上使用Pig，你也不需要在集群上做任何安装。Pig从本地提交作业，并和Hadoop进行交互。 1）下载Pig 前往http://mirror.bit.edu.cn/apache/pig/ 下载合适的...

2017-11-15

512

Driver类是对 1 org.apache.hadoop.hive.ql.processors.CommandProcessor.java 接口的实现，重写了run方法，定义了常见sql的执行方式. 1 public class Driver implements CommandProcessor 具体的方法调用顺序： 1 2 run--->runInternal--->(createTxnManager+recordValidTxns)----->compileInternal---> compile--analyzer(BaseSemanticAnalyzer)--->execute 其中compile和execute是两个比较重要的方法： compile用来完成语法和语义的分析，生成执行计划 execute执行物理计划，即提交相应的mapredjob 通过打印perflog可以看到Driver类的简单地时序图：下面来看下Driver类的几个常用的方法实现： 1)createTxnManager 用来获取目前设置的用于实现lock的类，比如: 1 ...

2017-11-15

622

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。