KYLIN&GP性能测试报告

2018-07-25 825

KYLIN&GP性能测试报告

版本信息

系统/软件名	版本
centos	CentOS Linux release 7.3.1611
hadoop	hadoop-2.7.4
hive	apache-hive-2.1.1-bin
hbase	hbase-1.4.0
zookeeper	zookeeper-3.3.6
sqoop	sqoop-1.4.6.bin__hadoop-2.0.4-alpha
kylin	apache-kylin-2.3.1-bin
GP	greenplum-db-4.3.8.2-build-1-RHEL5-x86_64

集群环境

节点	内存	磁盘	服务
bigdata-3-22	15G	50G	Namenode，secondarynamenode, datanode，QuorumPeerMain，metastore，hmaster，HRegionServer，JobHistoryServer，ResourceManager，nodemanager，kylin，greenplum
bigdata-3-23	15G	50G	Datanode，HRegionServer，QuorumPeerMain，nodemanager，greenplum
bigdata-3-24	15G	50G	Datanode，HRegionServer，QuorumPeerMain，nodemanager，greenplum

GP环境

IP	秘钥	数据库	表名	存储方式	数据量
192.168.xxx.xxx	xxgxx/xxx	testDB	dw_test_data	行式/无压缩	45W
10.5.xxx.xxx	xxx/xxx	testdb	dw_test_data	行式/无压缩	100W

Kylin/GP sql查询语句和平均执行时间

数据库	SQL	平均执行时间（S）	数据量（万条）	结果数（条）
KYLIN	select rq, gngw, jjdq, wp, jjrlx, jjrxb, jjrnld, sum(jdl), sum(wtdl), sum(tqjdl), sum(tqwtdl), sum(syjdl), sum(sywtdl) from dw_test_data group by rq, gngw, jjdq, wp, jjrlx, jjrxb, jjrnld order by rq ,jjrnld	0.25	139	39939
KYLIN	同上	1.9	100	120528
GP	select da.month, sum(dw.jdl) , sum(dw.wtdl) , sum(dw.tqjdl) , sum(dw.tqwtdl) , sum(dw.syjdl), sum(dw.sywtdl) from dw_test_data dw left join dw_test_dim_date da on dw.rq=da.day left join dw_test_dim_region re on dw.jjdq=re.city GROUP BY da.month	3.9	100	8
	select dw.rq, dw.gngw, dw.jjdq, dw.wp, dw.jjrlx, dw.jjrxb, dw.jjrnld, dw.sjrlx, dw.sjrlb, dw.sjrnlb, dw.kdjc, sum(dw.jdl) , sum(dw.wtdl) , sum(dw.tqjdl) , sum(dw.tqwtdl) , sum(dw.syjdl), sum(dw.sywtdl) from dw_test_data dw left join dw_test_dim_date da on dw.rq=da.day left join dw_test_dim_region re on dw.jjdq=re.city GROUP BY dw.rq, dw.gngw, dw.jjdq, dw.wp, dw.jjrlx, dw.jjrxb, dw.jjrnld, dw.sjrlx, dw.sjrlb, dw.sjrnlb, dw.kdjc ORDER BY dw.rq ,dw.jjrnld	190	100	682992
	select dw.rq, dw.gngw, dw.jjdq, dw.wp, dw.jjrlx, dw.jjrxb, dw.jjrnld, dw.sjrlx, dw.sjrlb, dw.sjrnlb, dw.kdjc, sum(dw.jdl) , sum(dw.wtdl) , sum(dw.tqjdl) , sum(dw.tqwtdl) , sum(dw.syjdl), sum(dw.sywtdl) from dw_test_data dw left join dw_test_dim_date da on dw.rq=da.day left join dw_test_dim_region re on dw.jjdq=re.city GROUP BY dw.rq, dw.gngw, dw.jjdq, dw.wp, dw.jjrlx, dw.jjrxb, dw.jjrnld, dw.sjrlx, dw.sjrlb, dw.sjrnlb, dw.kdjc ORDER BY dw.rq ,dw.jjrnld limit 200	2	100	200

微信关注我们

原文链接：https://yq.aliyun.com/articles/619151

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【上海Meetup回放视频+PPT下载整理】Elasticsearch Meetup系列第二期

Elasticsearch Meetup系列第二期活动中，7位来自阿里巴巴、eBay、沪江、携程等知名企业的技术大咖现场分享了集群管理、架构、定制开发、业务支撑的使用经验。以下是此次活动的直播整理。阿里云Elasticsearch1核2G首月免费试用，开始云上实践吧《利用Elastic Stack快速搭建SIEM系统》分享嘉宾：Elastic架构师 Monash大学计算机硕士吴斌视频链接：https://yq.aliyun.com/video/play/1526 PDF下载：https://yq.aliyun.com/download/2884 《Elasticsearch diagnose and index lifecycle management services》分享嘉宾：eBay 软件工程师丁旻奕、王佩视频链接：

2018-07-25

680

今天客户反映后台管理系统审核功能失效, 到kibana查看错误信息时发现, kibana提示elasticsearch: service Unavailable, 如下: 到kibana查看日志信息如下: {"type":"log","@timestamp":"2018-06-29T23:08:09+00:00","tags":["status","plugin:elasticsearch","error"],"pid":19806,"name":"plugin:elasticsearch","state":"red","message":"Status changed from red to red - [master_not_discovered_exception] null","prevState":"red","prevMsg":"Request Timeout after 30000ms"} {"type":"log","@timestamp":"2018-06-29T23:08:11+00:00","tags":["status","plugin:elastics...

2018-07-26

1051

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。