解决数据倾斜问题-低调大师

解决数据倾斜问题

2017-11-13 673

方法：解决数据倾斜问题

解决方法1. User_id为空的不参与关联，例如：

 
         Select 
         * 
        
         From 
         log a 
        
         Join  
         bmw_users b 
        
         On 
         a.user_id 
         is 
         not 
         null 
        
         And 
         a.user_id = b.user_id 
        
         Union 
         all 
        
         Select 
         * 
        
         from 
         log a 
        
         where 
         a.user_id 
         is 
         null
         .

解决方法2 ：

 
         Select 
         * 
        
         from 
         log a 
        
         left 
         outer 
         join 
         bmw_users b 
        
         on 
         case 
         when 
         a.user_id 
         is 
         null 
         then 
         concat(‘dp_hive’,rand() ) 
         else 
         a.user_id 
         end 
         = b.user_id;

总结：2比1效率更好，不但io少了，而且作业数也少了。1方法log读取两次，jobs是2。2方法job数是1 。这个优化适合无效id(比如-99,’’,null等)产生的倾斜问题。把空值的key变成一个字符串加上随机数，就能把倾斜的数据分到不同的reduce上 ,解决数据倾斜问题。因为空值不参与关联，即使分到不同的reduce上，也不影响最终的结果。附上hadoop通用关联的实现方法（关联通过二次排序实现的，关联的列为parition key,关联的列c1和表的tag组成排序的group key,根据parition key分配reduce。同一reduce内根据group key排序）。

 
         <br>

本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/1774319，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/510979

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop完全分布式安装Hive

应用场景当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们把数据存储到了hdfs，都是文件格式，用起来肯定不方便，用HIVE把数据从HDFS映射成表结构，直接用sql语句即可操作数据。另外针对分布式数据计算算法MapReduce，需要直接写MapReduce程序，比较复杂，此时使用Hive，就可以通过写SQL语句，来实现MapReduce的功能实现。操作步骤注意：首先需要注意的是让Hadoop完全分布式环境跑起来，然后只需要在namenode节点安装hive即可！ 1. hive包下载 hive2.1.1下载地址 2. 解压缩配置环境变量 # cd /opt # hive包的目录放到服务器的opt目录下 # tar -xzvf apache-hive-2.1.1-bin.tar.gz # 将压缩包进行解压 # mv apache-hive-2.1.1-bin hive2.1.1 #更换hive的目...

2017-11-14

602

启动权限，hive默认是禁止的。 Configuration For Hive 0.13.x Set the following in hive-site.xml: hive.server2.enable.doAs to false. hive.users.in.admin.role to the list of comma-separated users who need to be added toadminrole. Note thata user who belongs to theadminrole needs to run the "set role" command before getting the privileges of theadminrole, as this role is not in current roles by default. Start HiveServer2 with the following additional command-line options: -hiveconf hive.security.authorization.ma...

2017-11-14

820

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。