hive on tez踩坑记1-hive0.13 on tez-低调大师

hive on tez踩坑记1-hive0.13 on tez

2017-11-13 699

最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hive on tez了，期间遇到不少问题，这里记录下。

hive on tez的部署比较简单，可以参考wiki.主要注意几个地方

1.编译的时候

 
        mvn clean 
        package 
        -Dtar -DskipTests=
        true 
        -Dmaven.javadoc.skip=
        true

2.需要将tez相关的包upload到hdfs中，并设置tez-site.xml

 
        <property> 
       
        <name>tez.lib.uris<
        /name
        > 
       
        <value>${fs.defaultFS}
        /tez
        ,${fs.defaultFS}
        /tez/lib
        <
        /value
        > 
       
        <
        /property
        >

设置mapred-site.xml

 
        <property> 
       
        <name>mapreduce.framework.name<
        /name
        > 
       
        <value>yarn-tez<
        /value
        > 
       
        <
        /property
        >

3.注意更新hadoop-env.sh中classpath的设置

 
        export 
        TEZ_HOME=
        /home/vipshop/platform/tez 
       
        for 
        jar 
        in 
        `
        ls 
        $TEZ_HOME |
        grep 
        jar`; 
        do 
       
        export 
        HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME/$jar 
       
        done
       
        for 
        jar 
        in 
        `
        ls 
        $TEZ_HOME
        /lib
        `; 
        do 
       
        export 
        HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_HOME
        /lib/
        $jar 
       
        done

否则会报如下错误（加载不到对应的tez相关类，导致Cluster 初始化时失败）:

 
        java.io.IOException: Cannot initialize Cluster. Please check your configuration 
        for 
        mapreduce.framework.name and the correspond server addresses. 
       
        at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120) 
       
        at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:82) 
       
        at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:75) 
       
        at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1265) 
       
        at org.apache.hadoop.mapreduce.Job$9.run(Job.java:1261) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at javax.security.auth.Subject.doAs(Subject.java:396) 
       
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614) 
       
        at org.apache.hadoop.mapreduce.Job.connect(Job.java:1260) 
       
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1289) 
       
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1313) 
       
        at org.apache.hadoop.mapreduce.SleepJob.run(SleepJob.java:261) 
       
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
       
        at org.apache.hadoop.mapreduce.SleepJob.main(SleepJob.java:194) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
       
        at java.lang.reflect.Method.invoke(Method.java:597) 
       
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:72) 
       
        at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:145) 
       
        at org.apache.hadoop.
        test
        .MapredTestDriver.run(MapredTestDriver.java:118) 
       
        at org.apache.hadoop.
        test
        .MapredTestDriver.main(MapredTestDriver.java:126) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
       
        at java.lang.reflect.Method.invoke(Method.java:597) 
       
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

部署完毕后，使用hadoop jar提交tez job运行正常，测试hive on tez:

 
        hive -hiveconf hive.execution.engine=tez -hiveconf hive.root.logger=DEBUG,console

出现如下报错：

 
        Exception 
        in 
        thread 
        "main" 
        java.lang.NoSuchMethodError:  
       
        org.apache.tez.mapreduce.hadoop.MRHelpers.updateEnvironmentForMRAM(Lorg
        /apache/hadoop/conf/Configuration
        ;Ljava
        /util/Map
        ;)V 
       
        at org.apache.hadoop.hive.ql.
        exec
        .tez.TezSessionState.
        open
        (TezSessionState.java:182) 
       
        at org.apache.hadoop.hive.ql.
        exec
        .tez.TezSessionState.
        open
        (TezSessionState.java:123) 
       
        at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:355) 
       
        at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:681) 
       
        at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:625) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
       
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
       
        at java.lang.reflect.Method.invoke(Method.java:597) 
       
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

从堆栈上来看是由于session初始化异常导致，

 
        org.apache.hadoop.hive.cli.CliDriver.main->org.apache.hadoop.hive.cli.CliDriver.run->
       
        org.apache.hadoop.hive.ql.session.SessionState.start

在SessionState.start方法中:

 
        if 
        (HiveConf.getVar(startSs.getConf(), HiveConf.ConfVars.HIVE_EXECUTION_ENGINE)   
       
        .equals( 
        "tez"
        ) && (startSs.isHiveServerQuery == 
        false
        )) { 
        //如果设置hive.execution.engine为tez（默认为mr） 
       
        try 
        { 
       
        if 
        (startSs.tezSessionState == 
        null
        ) { 
       
        startSs.tezSessionState = 
        new 
        TezSessionState(startSs.getSessionId()); 
        //实例化一个TezSessionState对象 
       
        } 
       
        startSs.tezSessionState.open(startSs.conf ); 
        //调用TezSessionState.open方法 
       
        } 
        catch 
        (Exception e) { 
       
        throw 
        new 
        RuntimeException(e); 
       
        } 
       
        } 
        else 
        { 
       
        LOG.info( 
        "No Tez session required at this point. hive.execution.engine=mr."
        ); 
       
        }

TezSessionState.open中，首先使用createTezDir创建临时文件目录

 
        // create the tez tmp dir 
       
        tezScratchDir = createTezDir(sessionId); 
       
        String dir = tezScratchDir.toString(); 
       
        // Localize resources to session scratch dir 
       
        localizedResources = utils.localizeTempFilesFromConf(dir, conf); 
        //DagUtils.localizeTempFilesFromConf方法 
       
        List<LocalResource> handlerLr = utils.localizeTempFiles(dir, conf, additionalFiles); 
        // DagUtils.localizeTempFiles方法 
       
        if 
        (handlerLr != 
        null
        ) { 
       
        if 
        (localizedResources == 
        null
        ) { 
       
        localizedResources = handlerLr; 
       
        } 
        else 
        { 
       
        localizedResources.addAll(handlerLr); 
       
        } 
       
        additionalFilesNotFromConf = 
        new 
        HashSet<String>(); 
       
        for 
        (String originalFile : additionalFiles) { 
       
        additionalFilesNotFromConf.add(originalFile); 
       
        } 
       
        } 
       
        // generate basic tez config 
       
        TezConfiguration tezConfig = 
        new 
        TezConfiguration(conf); 
        //然后实例化一个TezConfiguration对象 
       
        tezConfig.set(TezConfiguration.TEZ_AM_STAGING_DIR, tezScratchDir.toUri().toString()); 
        //设置tez的staging目录，设置项为tez.staging-dir，默认值为/tmp/tez/staging 
       
        //这里默认最终为"/tmp/hive-" + System. getProperty( "user.name")/_tez_session_dir/sessionId
       
        appJarLr = createJarLocalResource(utils.getExecJarPathLocal()); 
        //localize hive-exec.jar 
       
        // configuration for the application master 
       
        Map<String, LocalResource> commonLocalResources = 
        new 
        HashMap<String, LocalResource>(); 
       
        commonLocalResources.put( utils.getBaseName( appJarLr), appJarLr ); 
       
        if 
        (localizedResources != 
        null
        ) { 
       
        for 
        (LocalResource lr : localizedResources) { 
       
        commonLocalResources.put( utils.getBaseName(lr), lr); 
       
        } 
       
        } 
       
        // Create environment for AM. 
       
        Map<String, String> amEnv = 
        new 
        HashMap<String, String>(); 
       
        MRHelpers.updateEnvironmentForMRAM(conf, amEnv); 
        //调用MRHelpers类的updateEnvironmentForMRAM方法

对于org.apache.tez.mapreduce.hadoop.MRHelpers类来说，在0.5.0中，这个updateEnvironmentForMRAM方法是不存在的，对应存在updateEnvBasedOnMRTaskEnv（配置Mappers和Reducers的环境变量）和updateEnvBasedOnMRAMEnv（配置am的环境变量）

 
        public 
        static 
        void 
        updateEnvBasedOnMRAMEnv(Configuration conf, Map<String, String> environment) { 
       
        TezYARNUtils.appendToEnvFromInputString(environment, conf.get(MRJobConfig.MR_AM_ADMIN_USER_ENV), 
       
        File.pathSeparator); 
       
        TezYARNUtils.appendToEnvFromInputString(environment, conf.get(MRJobConfig.MR_AM_ENV), 
       
        File.pathSeparator); 
       
        }

而在0.4.1-incubating中是有updateEnvironmentForMRAM这个方法的：

 
        public 
        static 
        void 
        updateEnvironmentForMRAM(Configuration conf, Map<String, String> environment) { 
       
        TezYARNUtils.setEnvFromInputString(environment, conf.get(MRJobConfig.MR_AM_ADMIN_USER_ENV), 
       
        File.pathSeparator); 
       
        TezYARNUtils.setEnvFromInputString(environment, conf.get(MRJobConfig.MR_AM_ENV), 
       
        File.pathSeparator); 
       
        }

对应的hive中：
hive0.13中：

 
        // Create environment for AM. 
       
        Map<String, String> amEnv = 
        new 
        HashMap<String, String>(); 
       
        MRHelpers.updateEnvironmentForMRAM(conf, amEnv);

hive0.14中：

 
        // Create environment for AM.       
       
        Map<String, String> amEnv = 
        new 
        HashMap<String, String>();       
       
        MRHelpers.updateEnvBasedOnMRAMEnv(conf, amEnv);

可以看到0.4.x到0.5.x版本的tez api变动比较大，0.5.x的tez已经和hive0.13.x不能兼容了，要想使用tez-0.5.x版本，必须使用hive0.14.x版本。
在github下载hive0.14的源码，编译并测试运行hive on tez:
https://codeload.github.com/apache/hive/zip/branch-0.14

 
        mvn clean 
        package 
        -DskipTests -Phadoop-
        2 
        -Pdist

 
  本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1604087，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434312

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop之 Balancer平衡速度

1. dfs.datanode.max.transfer.threads 修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers。 2. dfs.datanode.balance.bandwidthPerSec 修改dfs.datanode.balance.bandwidthPerSec=52428800，指定DataNode用于balancer的带宽为50MB，这个根据情况而定，如果交换机性能好点的，完全可以设定100MB，单位是Byte，如果机器的网卡和交换机的带宽有限，可以适当降低该速度，比如10MB，默认是1048576(1MB)。 hdfs dfsadmin-setBalancerBandwidth 52428800 3. dfs.balancer.block-move.timeout 以毫秒为单位移动的最大时间。如果这个设置大于0，平衡器将停止等待一个块移动完成。在典型的...

2017-11-14

502

最近在测试hive0.11 hiveserver时遇到的一个关于认证的bug，具体表现：在配置中指定了custom的认证方式时，通过beeline连接hiveserver2,发现连接hang住。 hive配置： 1 2 3 4 5 6 7 8 <property> <name>hive.server2.authentication</name>a <value>CUSTOM</value> </property> <property> <name>hive.server2.custom.authentication. class </name> <value>com.vipshop.hive.service.AuthWithPasswd</value> </property> 查看hiveserver的日志，发现有如下报错： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 15 / 01 ...

2017-11-14

563

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。