首页 文章 精选 留言 我的

精选列表

搜索[hive],共3656篇文章
优秀的个人博客,低调大师

hive中join的on和where

昨天发现线上有一个job用了1w多个map,导致其他job一直在等待mapred资源 为了避免影响别的job,暂时先杀掉,然后分析原因。 一般产生大量map有两个原因: 1.输入的数据量比较大,导致根据split产生map时有大量的map产生 2.小文件比较多,同时没有使用combine的inputformat,这样在产生map时,每个文件就会至少生成一个split。 因为默认使用了combine的inputformat,并设置了合适的合并条件,因此排除第二个原因。 运行的sql: 1 2 3 4 5 6 7 8 9 10 select aa1.order_id,aa1.user_id,coalesce(b1.total, 0 ) as total, to_date(aa1.add_time) ord_dt, b1.update_time, datediff(to_date(aa1.add_time),to_date(b1.update_time)) mark FROM dddd.dd aa1 left outer join dddd.cc b1 on (aa1.user_id=b1.user_id and aa1.dt= '20140212' and b1.dt= '20140211' ); 通过explain extended分析sql: 发现aa1表并没有根据aa1.dt='20140212'来过滤partition,而是对表的文件进行了全局的扫描。 如果是inner join的话,可以正常过滤,也就是在left join的情况下,左边的表不会根据on的条件来过滤数据,可以通过在后面再增加where语句来实现过滤的功能。 分析两者的执行计划区别: 1.left join + on 1 (TOK_QUERY (TOK_FROM (TOK_LEFTOUTERJOIN (TOK_TABREF (TOK_TABNAME vipdw dw_trd_order_cut) aa1) (TOK_TABREF (TOK_TABNAME vipdw dw_vip_vmark) b1) (and (and (= (. (TOK_TABLE_OR_COL aa1) user_id) (. (TOK_TABLE_OR_COL b1) user_id)) (= (. (TOK_TABLE_OR_COL aa1) dt) '20140212' )) (= (. (TOK_TABLE_OR_COL b1) dt) '20140211' )))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (. (TOK_TABLE_OR_COL aa1) order_id)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL aa1) user_id)) (TOK_SELEXPR (TOK_FUNCTION coalesce (. (TOK_TABLE_OR_COL b1) total) 0 ) total) (TOK_SELEXPR (TOK_FUNCTION to_date (. (TOK_TABLE_OR_COL aa1) add_time)) ord_dt) (TOK_SELEXPR (. (TOK_TABLE_OR_COL b1) update_time)) (TOK_SELEXPR (TOK_FUNCTION datediff (TOK_FUNCTION to_date (. (TOK_TABLE_OR_COL aa1) add_time)) (TOK_FUNCTION to_date (. (TOK_TABLE_OR_COL b1) update_time))) mark)))) 2.left join + on + where 1 (TOK_QUERY (TOK_FROM (TOK_LEFTOUTERJOIN (TOK_TABREF (TOK_TABNAME vipdw dw_trd_order_cut) aa1) (TOK_TABREF (TOK_TABNAME vipdw dw_vip_vmark) b1) (and (and (= (. (TOK_TABLE_OR_COL aa1) user_id) (. (TOK_TABLE_OR_COL b1) user_id)) (= (. (TOK_TABLE_OR_COL aa1) dt) '20140212' )) (= (. (TOK_TABLE_OR_COL b1) dt) '20140211' )))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (. (TOK_TABLE_OR_COL aa1) order_id)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL aa1) user_id)) (TOK_SELEXPR (TOK_FUNCTION coalesce (. (TOK_TABLE_OR_COL b1) total) 0 ) total) (TOK_SELEXPR (TOK_FUNCTION to_date (. (TOK_TABLE_OR_COL aa1) add_time)) ord_dt) (TOK_SELEXPR (. (TOK_TABLE_OR_COL b1) update_time)) (TOK_SELEXPR (TOK_FUNCTION datediff (TOK_FUNCTION to_date (. (TOK_TABLE_OR_COL aa1) add_time)) (TOK_FUNCTION to_date (. (TOK_TABLE_OR_COL b1) update_time))) mark)) (TOK_WHERE (= (. (TOK_TABLE_OR_COL aa1) dt) '20140212' )))) 可以看到在增加where后增加了 (TOK_WHERE (= (. (TOK_TABLE_OR_COL aa1) dt)'20140212'))的逻辑,优化器会先进行partition purge,然后再进行join操作。 其实在mysql中也是这种情况: inner join中的join key可以作为过滤条件。 left/right outer join类的join key不能作为驱动表的过滤条件,要实现过滤的话可以通过on + where组合。 本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1359315,如需转载请自行联系原作者

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册