3招解决时序数据高基数难题，性能多维度提升！

2023-11-27 350

本文分享自华为云社区《DTSE Tech Talk | 3招解决时序数据高基数难题，性能多维度提升！》，作者：华为云开源。

本期《openGemini全新列存引擎，为您解决时序数据高基数难题》的主题直播中，华为云开源DTSE技术布道师&数据库创新Lab技术专家黄飞腾，与开发者朋友们分享了时序数据库的特点和遥测数据应用场景下的优势，通过解析openGemini的框架引出了数据库行业长期存在的一大痛点—由于高基数导致的性能大幅下降，并向大家介绍了openGemini时序数据库针对这一难题而开发的列存引擎是如何有效改善高基数带来的不利影响。

为什么面对海量遥测数据，时序数据库才是更佳选择？

市面上有很多不同类型的数据存储系统，它们在不同场景具有不同的优势和局限性。那海量遥测数据场景下，我们应该选择什么类型的数据库呢？先感受一下遥测数据的庞大，全国每天光智能电表就能生成500亿条记录，10万辆车的企业每天采集约1PB数据。海量的数据产生后给存储带来了巨大的压力，传统数据库已不能满足如今的实际业务需求。因此，面向运维监控、物联网等众多领域，专注海量遥测数据存储与分析的时序数据库应运而生。

以openGemini时序数据库为例，它具有高并发、低时延、低成本的特性，完美契合企业的需要。更重要的是，openGemini框架中自带全新开发的“列存引擎”，重点解决时序高基数问题，为性能保驾护航。

高基数会带来什么样的问题？

首先了解一下基数是什么，基数：表示某一列数据中唯一值的个数。

那高基数就可以理解为一个列中不同值的数量很大。不同的标签或者列有不同的基数，如 ip 地址基数可能达到亿级，时间戳则与采样频率相关，采样频率越高则基数越高。

在高基数的场景下，tag组合数量、SID数量会急剧膨胀，倒排索引中的 SID lists 膨胀，导致倒排索引的维护与查询开销增大。

最终，对外表现的性能会急剧下降，那高基数给时序引擎带来的具体问题为：

内存资源
读写性能下降

openGemini如何应对高基数问题？

openGemini目前解决该问题应对措施为：列式存储+排序+聚簇索引。

简单来说，我们把时间线的约束去掉，采取部分的标签和列做排序，排序完成后会按照排序键排序列示存储，存储之后再构造一个稀疏（聚簇）索引，这样的优势是：索引相对于数据而言，总是稀疏的，与时间线无关，构建开销不会随时间线的增加而增加。聚簇索引存储每个 Block 的第一条记录，数据有序时，该索引有良好得过滤效果。

列存引擎和时序引擎最主要的差别是数据排序的方式和索引方式的不同。时序引擎是按照时间线力度来做聚簇，然后再按时间做排序。而高基数列存引擎是按照特定的列做排序，跟时间线无关。时序引擎采用倒排索引，时间线膨胀会导致倒排索引的开销变大，列存引擎的构建与时间线无关。继而以上的列存引擎设计思路可以大大提升数据库的读写性能。

时序引擎的倒排索引，本质上存储了一个 kv 对，其中 key 对应到所有的 tag 列名 + tag 值，value 对应该 tag 值所对应的所有时间线，所以通过倒排索引可以快速查找到特定 tag 列的所有唯一值。如果没有倒排索引，则需要完全扫描该列数据，并进行去重，查询开销与数据量成正比，在数据量较大的情形，开销非常大。新引入的列式存储方案，基于现有倒排索引对 key 的去重能力，直接存储了该列的唯一值。

手把手教你轻松使用列存引擎

openGemini 从 v1.1.0 版本开始支持列存引擎以及 Arrow 协议。

文档：https://docs.opengemini.org/zh/guide/features/high_series_cardinality.html

Arrow Flight 配置

创表

接下来请查看实操演示视频，复制链接查看直播完整版：https://bbs.huaweicloud.com/live/DTT_live/202311151630.html

列存引擎在高基数场景的验证结果

如下图所示，与其他数据库做测试对比，从时间线支持规模来看，openGemini达到无上限；单核写入性格提升到60万rows/s/cpu；

在特定4个场景下，亿级时间线并发查询时延都远远低于测试产品，最低时延为0.012s。在全量数据统计查询场景下，openGemini与对比产品基本相当，整体时延都非常低。总体看，openGemini不论是写入还是查询，性能都十分优秀。

欢迎大家加入openGemini社区

openGemini社区旨在打造开放、合作、包容的全球性技术社区，社区正在快速发展中，接下来会聚焦于开发更多功能，对性能进行调优。社区尚有理想未达，在此诚邀大家参与openGemini的建设(不限于代码、文档、生态贡献)，同社区一起成长，彼此携手方能到达远方。

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/10290608

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

AI 生成图片著作权侵权第一案宣判：被告构成侵权，赔偿 500 元

11月29日消息，近日，北京互联网法院针对人工智能生成图片（AI绘画图片）著作权侵权纠纷作出一审判决，据悉该案为AI生成图片相关领域著作权第一案。法院最终判决，被告构成侵权，需向原告公开道歉，并赔偿500元。据悉，原告李某使用AI生成涉案图片后发布于小红书平台；被告系百家号博主，发布文章配图使用了原告该AI生成的图片，原告遂起诉。北互审理认为涉案人工智能生成图片（AI绘画图片）具备“独创性”要件，体现了人的独创性智力投入，应当被认定为作品，受到著作权法保护等。

2023-11-29

366

本文分享自华为云社区《GaussDB(DWS)性能调优：row_number() over(p)-rn=1性能瓶颈发现和改写套路》，作者：Zawami 。 1、改写场景本套路应用于子查询中含有row_number() over(partition by order by) rn，并仅把rn列用于分类排序后筛选最大值的场景。 2、性能分析 GaussDB中SQL语句的执行很多时候是流式的，即对每一条数据进行流水加工，各层算子同时在执行，缩短执行耗时。但是在一些场景下，需要先取得前一个算子的全部结果集，然后才能够进行下一步的加工；窗口函数就是其中的一种。观察执行计划可以看到，SQL会在计算得到rn列后，再同本层查询其它列进行关联。由于存在窗口函数，必须先把51号算子先执行完，然后才能进行关联，造成性能瓶颈。通过去窗口函数改写，我们可以使得分类汇总同明细数据之间的关联流水执行。改写前局部SQL SELECT PROD_EN_NAME, PROD_LIFE_CYCLE_STATUS FROM ( SELECT PROD_EN_NAME, LI...

2023-11-28

325

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。