hive0.13 mapjoin hashtable找不到的bug-低调大师

hive0.13 mapjoin hashtable找不到的bug

2017-11-15 574

线上job报错：

 
        Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/
        1
        /yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/Stage-
        5
        .tar.gz/MapJoin-mapfile12--.hashtable (No such file or directory) 
       
        at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:
        195
        ) 
       
        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:
        54
        ) 
       
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:
        428
        ) 
       
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:
        340
        ) 
       
        at org.apache.hadoop.mapred.YarnChild$
        2
        .run(YarnChild.java:
        160
        ) 
       
        at java.security.AccessController.doPrivileged(Native Method) 
       
        at javax.security.auth.Subject.doAs(Subject.java:
        415
        ) 
       
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
        1438
        ) 
       
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:
        155
        ) 
       
        Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/
        1
        /yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/Stage-
        5
        .tar.gz/MapJoin-mapfile12--.hashtable (No such file or directory) 
       
        at org.apache.hadoop.hive.ql.exec.mr.HashTableLoader.load(HashTableLoader.java:
        104
        ) 
       
        at org.apache.hadoop.hive.ql.exec.MapJoinOperator.loadHashTable(MapJoinOperator.java:
        152
        ) 
       
        at org.apache.hadoop.hive.ql.exec.MapJoinOperator.cleanUpInputFileChangedOp(MapJoinOperator.java:
        178
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1029
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1033
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1033
        ) 
       
        at org.apache.hadoop.hive.ql.exec.Operator.cleanUpInputFileChanged(Operator.java:
        1033
        ) 
       
        at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:
        505
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:
        177
        ) 
       
        ... 
        8 
        more 
       
        Caused by: java.io.FileNotFoundException: /home/vipshop/hard_disk/
        1
        /yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/Stage-
        5
        .tar.gz/MapJoin-mapfile12--.hashtable (No such file or directory) 
       
        at java.io.FileInputStream.open(Native Method) 
       
        at java.io.FileInputStream.<init>(FileInputStream.java:
        146
        ) 
       
        at java.io.FileInputStream.<init>(FileInputStream.java:
        101
        ) 
       
        at org.apache.hadoop.hive.ql.exec.mr.HashTableLoader.load(HashTableLoader.java:
        95
        ) 
       
        ... 
        16 
        more

这其实是mapjoin的一个bug，mapjoin时会通过小表生成hashtable，然后放到distributecache中，后面的task会通过distributecache下载到本地使用。
这里是由于job含有两个mapjoin但是在HashTableSinkOperator中只生成了第一个hashtable，导致在HashTableLoader中进行load hashtable时报错。
bug触发条件：
1.两个以上的mapjoin
2.其中一个表为空
Bugid:
https://issues.apache.org/jira/browse/HIVE-6913
这个bug hive0.14已经fix
解决方法：

 
        ./ql/src/java/org/apache/hadoop/hive/ql/exec/mr/MapredLocalTask.java
       
        Operator<? 
        extends 
        OperatorDesc> forwardOp = work.getAliasToWork().get(alias); 
       
        if 
        (fetchOp.isEmptyTable()) { 
       
        //generate empty hashtable for empty table 
       
        this
        .generateDummyHashTable(alias, bigTableBucket); 
       
        forwardOp.close(
        false
        ); 
       
        continue
        ; 
       
        }

关于mapjoin的整个流程和触发条件放在后面写。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1612622，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434298

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导

1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 1.3 sqoop实战及原理 1.3.1 sqoop安装安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/ 比如：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz [root@hadoop1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz [root@hadoop1 sqoop]# mv sqoop-1.4....

2017-11-15

639

wince注册表结构

与桌面 Windows 一样，Windows CE也使用注册表（Registry）来保存应用程序、驱动程序和用户的设定以及其他一些配置信息。Windows CE注册表也采用树形结构来管理配置信息，由于Windows CE注册表的结构和功能与桌面Windows几乎一样，在这里就不详细介绍了，读者可以参考其它关于注册表的资料。 Windows CE支持四个根键，描述如下：键名描述 HKEY_LOCAL_MACHINE 硬件和驱动配置数据 HKEY_CURRENT_USER 用户配置数据 HKEY_CLASSES_ROOT OLE和文件类型匹配配置数据 HKEY_USERS 适用于所有用户的数据由于嵌入式系统的特点，一些嵌入式设备是没有外存的。因此Windows CE的注册表提供了两种实现方式：基于RAM的注册表（RAM-Based Registry）和基于Hive的注册表（Hive-Based Registry）。我们可以选择在Windows CE中使用任何一种注册表，注册表类型对于用户和应用程序来说是透明的。  基于RAM的注册表正如其名，基于RAM的注册表把整...

2017-11-15

584

发表评论

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。