hive0.13 mapjoin hashtable找不到的bug-低调大师

hive0.13 mapjoin hashtable找不到的bug

2017-11-15 540

线上job报错：

 
        Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/
        1
        /yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/Stage-
        5
        .tar.gz/MapJoin-mapfile12--.hashtable (No such file or directory) 
       
        at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:
        195
        ) 
       
        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:
        54
        ) 
       
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:
        428
        ) 
       
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:
        340
        ) 
       
        at org.apache.hadoop.mapred.YarnChild$
        2
        .run(YarnChild.java:
        160
        ) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at javax.security.auth.Subject.doAs(Subject.java:
        415
        ) 
       
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
        1438
        ) 
       
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:
        155
        ) 
       
        Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/
        1
        /yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/Stage-
        5
        .tar.gz/MapJoin-mapfile12--.hashtable (No such file or directory) 
       
        at org.apache.hadoop.hive.ql.exec.mr.HashTableLoader.load(HashTableLoader.java:
        104
        ) 
       
        at org.apache.hadoop.hive.ql.exec.MapJoinOperator.loadHashTable(MapJoinOperator.java:
        152
        ) 
       
        at org.apache.hadoop.hive.ql.exec.MapJoinOperator.cleanUpInputFileChangedOp(MapJoinOperator.java:
        178
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1029
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1033
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1033
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1033
        ) 
       
        at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:
        505
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:
        177
        ) 
       
        ... 
        8 
        more 
       
        Caused by: java.io.FileNotFoundException: /home/vipshop/hard_disk/
        1
        /yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/Stage-
        5
        .tar.gz/MapJoin-mapfile12--.hashtable (No such file or directory) 
       
        at java.io.FileInputStream.open(Native Method) 
       
        at java.io.FileInputStream.<init>(FileInputStream.java:
        146
        ) 
       
        at java.io.FileInputStream.<init>(FileInputStream.java:
        101
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.HashTableLoader.load(HashTableLoader.java:
        95
        ) 
       
        ... 
        16 
        more

这其实是mapjoin的一个bug，mapjoin时会通过小表生成hashtable，然后放到distributecache中，后面的task会通过distributecache下载到本地使用。
这里是由于job含有两个mapjoin但是在HashTableSinkOperator中只生成了第一个hashtable，导致在HashTableLoader中进行load hashtable时报错。
bug触发条件：
1.两个以上的mapjoin
2.其中一个表为空
Bugid:
https://issues.apache.org/jira/browse/HIVE-6913
这个bug hive0.14已经fix
解决方法：

 
        ./ql/src/java/org/apache/hadoop/hive/ql/exec/mr/MapredLocalTask.java
       
        Operator<? 
        extends 
        OperatorDesc> forwardOp = work.getAliasToWork().get(alias); 
       
        if 
        (fetchOp.isEmptyTable()) { 
       
        //generate empty hashtable for empty table 
       
        this
        .generateDummyHashTable(alias, bigTableBucket); 
       
        forwardOp.close(
        false
        ); 
       
        continue
        ; 
       
        }

关于mapjoin的整个流程和触发条件放在后面写。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1612622，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434298

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导

1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 1.3 sqoop实战及原理 1.3.1 sqoop安装安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/ 比如：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz [root@hadoop1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz [root@hadoop1 sqoop]# mv sqoop-1.4....

2017-11-16

592

wince注册表结构

与桌面 Windows 一样，Windows CE也使用注册表（Registry）来保存应用程序、驱动程序和用户的设定以及其他一些配置信息。Windows CE注册表也采用树形结构来管理配置信息，由于Windows CE注册表的结构和功能与桌面Windows几乎一样，在这里就不详细介绍了，读者可以参考其它关于注册表的资料。 Windows CE支持四个根键，描述如下：键名描述 HKEY_LOCAL_MACHINE 硬件和驱动配置数据 HKEY_CURRENT_USER 用户配置数据 HKEY_CLASSES_ROOT OLE和文件类型匹配配置数据 HKEY_USERS 适用于所有用户的数据由于嵌入式系统的特点，一些嵌入式设备是没有外存的。因此Windows CE的注册表提供了两种实现方式：基于RAM的注册表（RAM-Based Registry）和基于Hive的注册表（Hive-Based Registry）。我们可以选择在Windows CE中使用任何一种注册表，注册表类型对于用户和应用程序来说是透明的。  基于RAM的注册表正如其名，基于RAM的注册表把整...

2017-11-16

545

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。