cdh4.6.0升级测试1-低调大师

cdh4.6.0升级测试1

2017-11-07 700

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt 内存泄露和distribute cache阻塞的bug.

(MAPREDUCE-2479和MAPREDUCE-5508)

https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1494-MR1-MAPREDUCE-5508.-JobTracker-memory-leak-caused-by.patch

最近计划升级至4.6.0,，对4.6.0和4.2.0做了相关的对比测试

数据校验和组件兼容性测试：

测试方法：

1）impala测试升级前后数据准确性和性能

结论：

前后结果完全一样（select * order by /count(1) /count(1)+group by）

性能变化不大。

2）hive测试升级前后数据准确性和性能（因为时间有限，没有做TPC的测试）

(text gz/rcfile/sequencefile)

load 4G的text gz文件,分布清洗成rcfile和sequencefile表

结论：

hive测试数据正常（count(1) /count(1)+group by）

性能变化不大，其中因为从text gz清洗至rcfile和sequencefile时不能split，只能一个map做处理，耗时比较长，没有取多次的平均值。

其他数据是取多次的平均值。

3）flume测试写入

升级前后flume hdfs sink有效性。

结论：

升级前后flume写入hdfs正常,可以直接使用4.2.0的hadoop lib做写入操作。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1401406，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434582

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive union all报错

今天在写一个sql的时候，使用了hive的union all，运行时报错。 sql如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 select dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time from temp_bi.uv union all select '平台' dimension_name ,dt ,app_platformdtype_name , count ( distinct mid)uv , count ( distinct case when is_new=1 then mid end )new_uv , count ( distinct case when is_new=0 then mid end )old_uv , sum (pv_num)pv , sum (stay_time)stay_time --停留时长（秒） from vipdw.dw_log_app_visit_ds1 where dt between get_dt_date(get_date(-1)) and g...

2017-11-07

1051

目的： 1、从根本上解决reduce时的数据倾斜问题 2、从根本上解决基于优先级的并发调度问题 Map-Balance-Reduce (简称MBR)是在现有Map-Reduce模型基础之上的改进，以从根本上解决reduce倾斜问题，不用预先分析KEY的分布，编程接口在map和reduce之外，增加balance，但是只有在不均衡的时候balance才会被调用到。如果某个Split大于设定的值，则再分割，如果某个Split小于指定的值，则和其它的合并（只需要逻辑上的合并，不需要物理上合并，这样对性能不会有影响）。 Hadoop技术论坛：http://bbs.hadoopor.com 本文转自eyjian 51CTO博客，原文链接：http://blog.51cto.com/mooon/275492，如需转载请自行联系原作者

2017-11-07

750

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。