cdh4.6.0升级测试1-低调大师

cdh4.6.0升级测试1

2017-11-07 623

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt 内存泄露和distribute cache阻塞的bug.

(MAPREDUCE-2479和MAPREDUCE-5508)

https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1494-MR1-MAPREDUCE-5508.-JobTracker-memory-leak-caused-by.patch

最近计划升级至4.6.0,，对4.6.0和4.2.0做了相关的对比测试

数据校验和组件兼容性测试：

测试方法：

1）impala测试升级前后数据准确性和性能

结论：

前后结果完全一样（select * order by /count(1) /count(1)+group by）

性能变化不大。

2）hive测试升级前后数据准确性和性能（因为时间有限，没有做TPC的测试）

(text gz/rcfile/sequencefile)

load 4G的text gz文件,分布清洗成rcfile和sequencefile表

结论：

hive测试数据正常（count(1) /count(1)+group by）

性能变化不大，其中因为从text gz清洗至rcfile和sequencefile时不能split，只能一个map做处理，耗时比较长，没有取多次的平均值。

其他数据是取多次的平均值。

3）flume测试写入

升级前后flume hdfs sink有效性。

结论：

升级前后flume写入hdfs正常,可以直接使用4.2.0的hadoop lib做写入操作。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1401406，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434582

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive union all报错

今天在写一个sql的时候，使用了hive的union all，运行时报错。 sql如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 select dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time from temp_bi.uv union all select '平台' dimension_name ,dt ,app_platformdtype_name , count ( distinct mid)uv , count ( distinct case when is_new=1 then mid end )new_uv , count ( distinct case when is_new=0 then mid end )old_uv , sum (pv_num)pv , sum (stay_time)stay_time --停留时长（秒） from vipdw.dw_log_app_visit_ds1 where dt between get_dt_date(get_date(-1)) and g...

2017-11-08

988

目的： 1、从根本上解决reduce时的数据倾斜问题 2、从根本上解决基于优先级的并发调度问题 Map-Balance-Reduce (简称MBR)是在现有Map-Reduce模型基础之上的改进，以从根本上解决reduce倾斜问题，不用预先分析KEY的分布，编程接口在map和reduce之外，增加balance，但是只有在不均衡的时候balance才会被调用到。如果某个Split大于设定的值，则再分割，如果某个Split小于指定的值，则和其它的合并（只需要逻辑上的合并，不需要物理上合并，这样对性能不会有影响）。 Hadoop技术论坛：http://bbs.hadoopor.com 本文转自eyjian 51CTO博客，原文链接：http://blog.51cto.com/mooon/275492，如需转载请自行联系原作者

2017-11-08

695

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。