cdh4.6.0升级测试1-低调大师

cdh4.6.0升级测试1

2017-11-07 602

线上使用了cdh4.2.0，这个版本有几个比较严重的bug,jt 内存泄露和distribute cache阻塞的bug.

(MAPREDUCE-2479和MAPREDUCE-5508)

https://github.com/y-lan/hadoop-cdh4/blob/master/cloudera/patches/1494-MR1-MAPREDUCE-5508.-JobTracker-memory-leak-caused-by.patch

最近计划升级至4.6.0,，对4.6.0和4.2.0做了相关的对比测试

数据校验和组件兼容性测试：

测试方法：

1）impala测试升级前后数据准确性和性能

结论：

前后结果完全一样（select * order by /count(1) /count(1)+group by）

性能变化不大。

2）hive测试升级前后数据准确性和性能（因为时间有限，没有做TPC的测试）

(text gz/rcfile/sequencefile)

load 4G的text gz文件,分布清洗成rcfile和sequencefile表

结论：

hive测试数据正常（count(1) /count(1)+group by）

性能变化不大，其中因为从text gz清洗至rcfile和sequencefile时不能split，只能一个map做处理，耗时比较长，没有取多次的平均值。

其他数据是取多次的平均值。

3）flume测试写入

升级前后flume hdfs sink有效性。

结论：

升级前后flume写入hdfs正常,可以直接使用4.2.0的hadoop lib做写入操作。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1401406，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434582

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive union all报错

今天在写一个sql的时候，使用了hive的union all，运行时报错。 sql如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 select dimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_time from temp_bi.uv union all select '平台' dimension_name ,dt ,app_platformdtype_name , count ( distinct mid)uv , count ( distinct case when is_new=1 then mid end )new_uv , count ( distinct case when is_new=0 then mid end )old_uv , sum (pv_num)pv , sum (stay_time)stay_time --停留时长（秒） from vipdw.dw_log_app_visit_ds1 where dt between get_dt_date(get_date(-1)) and g...

2017-11-08

962

目的： 1、从根本上解决reduce时的数据倾斜问题 2、从根本上解决基于优先级的并发调度问题 Map-Balance-Reduce (简称MBR)是在现有Map-Reduce模型基础之上的改进，以从根本上解决reduce倾斜问题，不用预先分析KEY的分布，编程接口在map和reduce之外，增加balance，但是只有在不均衡的时候balance才会被调用到。如果某个Split大于设定的值，则再分割，如果某个Split小于指定的值，则和其它的合并（只需要逻辑上的合并，不需要物理上合并，这样对性能不会有影响）。 Hadoop技术论坛：http://bbs.hadoopor.com 本文转自eyjian 51CTO博客，原文链接：http://blog.51cto.com/mooon/275492，如需转载请自行联系原作者

2017-11-08

680

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。