您现在的位置是：首页 > 文章详情

Databend 开源周报第 115 期

日期：2023-10-17点击：103收藏

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

聚合索引

Databend 最近引入了 聚合索引 以提高查询性能，特别是涉及 MIN、MAX 和 SUM 等聚合查询的场景下。聚合索引使用预计算和独立存储查询结果等技术，从而消除了扫描整个表的需要，加快了数据检索速度。

此外，该特性还附带刷新机制，支持按需更新和保存最新查询结果，从而保持数据的准确性和可靠性。Databend 建议在执行相关查询之前手动刷新聚合索引，以检索最新的数据；如果使用 Databend Cloud 则支持自动刷新聚合索引。

-- Create an aggregating index CREATE AGGREGATING INDEX my_agg_index AS SELECT MIN(a), MAX(c) FROM agg; -- Refresh the aggregating index REFRESH AGGREGATING INDEX my_agg_index;

聚合索引 需要升级至企业版。如需了解升级信息，请联系 Databend 团队。

如果您想了解更多信息，请查看下面列出的资源。

Docs | AGGREGATING INDEX

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

MERGE INTO 流水线全景图

前段时间，Databend 实现了对 MERGE INTO 语句的支持，以提供更全面的数据维护能力。对其中原理感兴趣的小伙伴，可以查看下面的 MERGE INTO 流水线全景图。

 +-------------------+ +-----------------------------+ output_port_row_id | | +-----------------------+ Matched | +------------------------>-ResizeProcessor(1)+---------------+ | +---+--------------->| MatchedSplitProcessor | | | | | | | | +----------+ +-------------------+ | +----------------------+ | +---+ +-----------------------------+ | | | MergeIntoSource +---------->|MergeIntoSplitProcessor| output_port_updated | +----------------------+ | +---+ +-----------------------------+ | +-------------------+ | | | | NotMatched | | | | | | | +---+--------------->| MergeIntoNotMatchedProcessor+----------+------------->-ResizeProcessor(1)+-----------+ | +-----------------------+ | | | | | | +-----------------------------+ +-------------------+ | | | | | | | | | | | | +-------------------------------------------------+ | | | | | | | | | | +--------------------------+ +-------------------------+ | ++---------------------------+ | +--------------------------------------+ | | +---------+ TransformSerializeSegment<--------+ TransformSerializeBlock <-----+---------+|TransformAddComputedColumns|<---------+-----+TransformResortAddOnWithoutSourceSchema<-+ | | +--------------------------+ +-------------------------+ | ++---------------------------+ | +--------------------------------------+ | | | | | | | | | | | | | | | | | | +---------------+ +------------------------------+ | ++---------------+ | +---------------+ | +----------+ TransformDummy|<----------------+ AsyncAccumulatingTransformer <-+---------------+|TransformDummy |<---------------+---------------+TransformDummy <------------------+ | +---------------+ +------------------------------+ | ++---------------+ | +---------------+ | | | | | If it includes 'computed', this section | | | of code will be executed, otherwise it won't | | | | | -+-------------------------------------------------+ | | | | +------------------+ +-----------------------+ +-----------+ +------->|ResizeProcessor(1)+----------->|TableMutationAggregator+------->|CommitSink | +------------------+ +-----------------------+ +-----------+

如果您想了解更多信息，请查看下面列出的资源。

PR #13036 | chore: draw merge into pipeline

Highlights

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

为 MERGE INTO 实现自动聚合和自动 compact 支持。
SQLsmith 现在可以覆盖 DELETE、UPDATE、ALTER TABLE 和 CAST 。
新增 json_each 和 json_array_elements 等半结构化数据处理函数。
新增 to_week_of_year 和 date_part 等时间日期函数，可以阅读 Docs | Date & Time Functions 了解更多细节。
阅读 Sending IoT Stream Data to Databend with LF Edge eKuiper 了解如何将 Databend 与 eKuiper 集成，以应对日益增长的 IoT 数据分析需求。