hive union all报错-低调大师

hive union all报错

2017-11-07 987

今天在写一个sql的时候，使用了hive的union all，运行时报错。

sql如下：

 
  
    
      
      
        select 
        dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time 
        from 
        temp_bi.uv 
       
 
        union 
        all 
       
 
        select 
        '平台' 
        dimension_name 
       

        ,dt
       

        ,app_platform dtype_name
       
 
        ,
        count
        (
        distinct 
        mid) uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 1 
        then 
        mid 
        end
        ) new_uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 0 
        then 
        mid 
        end
        ) old_uv 
       
 
        ,
        sum
        (pv_num) pv 
       
 
        ,
        sum
        (stay_time) stay_time  
        --停留时长（秒） 
       
 
        from 
        vipdw.dw_log_app_visit_ds1 
       
 
        where 
        dt 
        between 
        get_dt_date(get_date(-1)) 
        and 
        get_dt_date(get_date(-1)) 
       
 
        group 
        by 
        '平台' 
        ,dt ,app_platform 
       
 
    

   
 

报错信息如下：

 
        FAILED: SemanticException 1:71 
        Top 
        level 
        UNION 
        is 
        not 
        supported currently; use a subquery 
        for 
        the 
        UNION
        . Error encountered near token 
        'app_platform'

hive不支持顶层的union all，使用子查询来解决即可：

 
  
    
      
      
        select 
        * 
        from 
        ( 
       
 
        select 
        dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time 
        from 
        temp_bi.uv 
       
 
        union 
        all 
       
 
        select 
        '平台' 
        dimension_name 
       

        ,dt
       

        ,app_platform dtype_name
       
 
        ,
        count
        (
        distinct 
        mid) uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 1 
        then 
        mid 
        end
        ) new_uv 
       
 
        ,
        count
        (
        distinct 
        case 
        when 
        is_new = 0 
        then 
        mid 
        end
        ) old_uv 
       
 
        ,
        sum
        (pv_num) pv 
       
 
        ,
        sum
        (stay_time) stay_time  
        --停留时长（秒） 
       
 
        from 
        vipdw.dw_log_app_visit_ds1 
       
 
        where 
        dt 
        between 
        get_dt_date(get_date(-1)) 
        and 
        get_dt_date(get_date(-1)) 
       
 
        group 
        by 
        '平台' 
        ,dt ,app_platform) a 
       
 
    

   
  
 
 

 
  本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1414086，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434565

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop学习笔记一

第一个hands-on入门程序：参考 http://blog.csdn.net/sim_szm/article/details/12578055 搭建环境并跑WordCount程序，区别是我安装的是最新的hadoop版本0.23.11，JDK我使用的是Sun JDK，Linux使用的是国产的Kylin。问题一：Error: JAVA_HOME is not set and could not be found. 解决方案： /etc/profile 文件中export JAVA_HOME ${HADOOP_HOME}/libexec/hadoop-config.sh 显式export JAVA_HOME ${HADOOP_HOME}/etc/hadoop/yarn-env.sh显式export JAVA_HOME 问题二：NameNode 没有启动解决方案：删除core-site.xml文件中配置的tmp目录运行 hadoop namenode -format 命令再运行sbin目录下的start-dfs.sh脚步启动NameNode和datanode 问题三：为何需要SS...

2017-11-08

674

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt 内存泄露和distribute cache阻塞的bug. (MAPREDUCE-2479和MAPREDUCE-5508) 相关patch: https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1351-MR1-MAPREDUCE-2479.-Move-distributed-cache-cleanup-t.patch https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1494-MR1-MAPREDUCE-5508.-JobTracker-memory-leak-caused-by.patch 最近计划升级至4.6.0,，对4.6.0和4.2.0做了相关的对比测试数据校验和组件兼容性测试：测试方法： 1）impala测试升级前后数据准确性和性能结论：前后结果完全一样（select * order by /count(1) /count(1)+group b...

2017-11-08

622

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。