hive union all报错-低调大师

hive union all报错

2017-11-07 963

今天在写一个sql的时候，使用了hive的union all，运行时报错。

sql如下：

 
  
    
      
      
        select 
        dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time 
        from 
        temp_bi.uv 
       
 
        union 
        all 
       
 
        select 
        '平台' 
        dimension_name 
       

        ,dt
       

        ,app_platform dtype_name
       
 
        ,
        count
        (
        distinct 
        mid) uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 1 
        then 
        mid 
        end
        ) new_uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 0 
        then 
        mid 
        end
        ) old_uv 
       
 
        ,
        sum
        (pv_num) pv 
       
 
        ,
        sum
        (stay_time) stay_time  
        --停留时长（秒） 
       
 
        from 
        vipdw.dw_log_app_visit_ds1 
       
 
        where 
        dt 
        between 
        get_dt_date(get_date(-1)) 
        and 
        get_dt_date(get_date(-1)) 
       
 
        group 
        by 
        '平台' 
        ,dt ,app_platform 
       
 
    

   
 

报错信息如下：

 
        FAILED: SemanticException 1:71 
        Top 
        level 
        UNION 
        is 
        not 
        supported currently; use a subquery 
        for 
        the 
        UNION
        . Error encountered near token 
        'app_platform'

hive不支持顶层的union all，使用子查询来解决即可：

 
  
    
      
      
        select 
        * 
        from 
        ( 
       
 
        select 
        dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time 
        from 
        temp_bi.uv 
       
 
        union 
        all 
       
 
        select 
        '平台' 
        dimension_name 
       

        ,dt
       

        ,app_platform dtype_name
       
 
        ,
        count
        (
        distinct 
        mid) uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 1 
        then 
        mid 
        end
        ) new_uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 0 
        then 
        mid 
        end
        ) old_uv 
       
 
        ,
        sum
        (pv_num) pv 
       
 
        ,
        sum
        (stay_time) stay_time  
        --停留时长（秒） 
       
 
        from 
        vipdw.dw_log_app_visit_ds1 
       
 
        where 
        dt 
        between 
        get_dt_date(get_date(-1)) 
        and 
        get_dt_date(get_date(-1)) 
       
 
        group 
        by 
        '平台' 
        ,dt ,app_platform) a 
       
 
    

   
  
 
 

 
  本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1414086，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434565

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop学习笔记一

第一个hands-on入门程序：参考 http://blog.csdn.net/sim_szm/article/details/12578055 搭建环境并跑WordCount程序，区别是我安装的是最新的hadoop版本0.23.11，JDK我使用的是Sun JDK，Linux使用的是国产的Kylin。问题一：Error: JAVA_HOME is not set and could not be found. 解决方案： /etc/profile 文件中export JAVA_HOME ${HADOOP_HOME}/libexec/hadoop-config.sh 显式export JAVA_HOME ${HADOOP_HOME}/etc/hadoop/yarn-env.sh显式export JAVA_HOME 问题二：NameNode 没有启动解决方案：删除core-site.xml文件中配置的tmp目录运行 hadoop namenode -format 命令再运行sbin目录下的start-dfs.sh脚步启动NameNode和datanode 问题三：为何需要SS...

2017-11-08

649

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt 内存泄露和distribute cache阻塞的bug. (MAPREDUCE-2479和MAPREDUCE-5508) 相关patch: https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1351-MR1-MAPREDUCE-2479.-Move-distributed-cache-cleanup-t.patch https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1494-MR1-MAPREDUCE-5508.-JobTracker-memory-leak-caused-by.patch 最近计划升级至4.6.0,，对4.6.0和4.2.0做了相关的对比测试数据校验和组件兼容性测试：测试方法： 1）impala测试升级前后数据准确性和性能结论：前后结果完全一样（select * order by /count(1) /count(1)+group b...

2017-11-08

602

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。