云上OLAP引擎查询性能评估框架:设计与实现
作者:南京大学顾荣、吴侗雨 背景 公有云是一种为用户提供经济方便的计算资源的平台。随着云计算技术的快速发展,以及大数据查询需求的日益增加,很多公有云的云计算应用市场中,出现了越来越多云上OLAP引擎服务。为了能够根据自己的业务需求选择合适的OLAP引擎,并通过合适的配置使引擎在最佳状态运行,用户需要对当前使用的查询引擎性能进行评估。 当前OLAP引擎性能评估框架在云上部署使用时面临三个主要挑战: 1、对云环境适应能力弱。传统性能评估框架诞生时,尚未具备云上特有的PaaS、IaaS、SaaS特性,也不具备对存算分离的适配支持。使用云上OLAP时,需要充分利用云计算特性分析OLAP引擎性能。 2、不具备复杂工作负载的复现能力。工作负载由数据集、查询集、查询序列组成。传统的性能评估框架通常采用固定的数据集和查询级,查询序列也主要以线性序列为主。现代OLAP查询场景的复杂化,对特定场景下的数据集和查询集的特征刻画、高并发复杂场景支持等,提出了更高的要求。 3、难以全面评估查询性能与上云成本。传统评估体系(如 TPC-H、TPC-DS)不体现成本因素,而在云上资源近乎无限的大环境里,不考虑成本的...







