Databend 产品月报（2024年12月）

很高兴为您带来 Databend 2024 年 12 月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈，祝您新年快乐！

临时表

您现在可以创建一个临时表，该临时表在会话结束时会自动删除。临时表仅在创建它的会话中可见，并在会话结束时自动删除，所有数据都会被清除。要创建临时表，请使用 CREATE TEMP TABLE 命令。

CREATE [ OR REPLACE ] { TEMPORARY | TEMP } TABLE [ IF NOT EXISTS ] [ <database_name>. ]<table_name> ... 

新数据类型：INTERVAL

INTERVAL 数据类型表示时间长度，允许精确操作和存储跨不同单位的时间间隔。

-- Create a table with one INTERVAL column CREATE OR REPLACE TABLE intervals (duration INTERVAL); -- Insert different types of INTERVAL data INSERT INTO intervals VALUES ('1 year 2 months ago'), -- Natural language format with 'ago' (negative interval) ('1 year 2 months'), -- Natural language format without 'ago' (positive interval) ('1000000'), -- Positive numeric value interpreted as microseconds ('-1000000'); -- Negative numeric value interpreted as microseconds -- Query the table to see the results SELECT * FROM intervals; ┌──────────────────────────┐ │ duration │ ├──────────────────────────┤ │ -1 year -2 months │ │ 1 year 2 months │ │ 0:00:01 │ │ -1 month -1 day -0:00:01 │ └──────────────────────────┘ 

自定义聚合函数

现在您可以使用 Python 和 JavaScript 定义自己的聚合函数。

CREATE or REPLACE FUNCTION weighted_avg (INT, INT) STATE {sum INT, weight INT} RETURNS FLOAT LANGUAGE javascript AS $$ export function create_state() { return {sum: 0, weight: 0}; } export function accumulate(state, value, weight) { state.sum += value * weight; state.weight += weight; return state; } export function retract(state, value, weight) { state.sum -= value * weight; state.weight -= weight; return state; } export function merge(state1, state2) { state1.sum += state2.sum; state1.weight += state2.weight; return state1; } export function finish(state) { return state.sum / state.weight; } $$; 

新教程：使用 Vector 自动加载 JSON 日志

在本教程中，我们模拟在本地生成日志，使用 Vector 收集日志，将其存储在 S3 中，并使用计划任务自动将其提取到 Databend Cloud 中。请单击此处访问完整教程。

增强对 Parquet 文件处理的支持

我们引入了一些新参数，以便在处理 Parquet 文件时提供更大的灵活性和精确性。

CASE_SENSITIVE参数

CASE_SENSITIVE参数用来决定所查询的Parquet文件中的列名是否区分大小写：

• CASE_SENSITIVE => false（默认）： 列名不区分大小写。例如，b 和 B 被视为相同。
• CASE_SENSITIVE => true：列名区分大小写，即只有完全匹配（包括大小写）才有效。例如，如果文件中的列名为 B，则查询 B 会成功，但如果列名为 b，则查询不会成功。

例如，如果在 Parquet 文件中有名为 MinTemp 的列，当 CASE_SENSITIVE 设置为 false 时，可以使用以下语句之一进行查询：

SELECT MinTemp FROM '@mystage/weather.parquet'(CASE_SENSITIVE=>false); SELECT MINTEMP FROM '@mystage/weather.parquet'(CASE_SENSITIVE=>false); SELECT mintemp FROM '@mystage/weather.parquet'(CASE_SENSITIVE=>false); 

当 CASE_SENSITIVE 设置为 true 时，必须使用文件中出现的准确列名：

SELECT `MinTemp` FROM '@mystage/weather.parquet'(CASE_SENSITIVE=>true); 

新增 COPY INTO 选项：COLUMN_MATCH_MODE

COLUMN_MATCH_MODE 决定 COPY INTO 过程中列名匹配是区分大小写还是不区分大小写（默认）。有关 COPY INTO 选项的完整列表，请参阅 copyOptions。

二进制转换函数：TO_BINARY 和 TRY_TO_BINARY

TO_BINARY 将支持的数据类型（包括字符串、变量、位图、几何图形和地理位置）转换为二进制表示（十六进制格式）。

SELECT TO_BINARY('Databend'); ┌───────────────────────┐ │ to_binary('Databend') │ ├───────────────────────┤ │ 4461746162656E64 │ └───────────────────────┘ SELECT TO_BINARY(PARSE_JSON('{"key":"value", "number":123}')) AS binary_variant; ┌──────────────────────────────────────────────────────────────────────────┐ │ binary_variant │ ├──────────────────────────────────────────────────────────────────────────┤ │ 40000002100000031000000610000005200000026B65796E756D62657276616C7565507B │ └──────────────────────────────────────────────────────────────────────────┘ SELECT TO_BINARY(TO_BITMAP('10,20,30')) AS binary_bitmap; ┌──────────────────────────────────────────────────────────────────────┐ │ binary_bitmap │ ├──────────────────────────────────────────────────────────────────────┤ │ 0100000000000000000000003A3000000100000000000200100000000A0014001E00 │ └──────────────────────────────────────────────────────────────────────┘ SELECT TO_BINARY(ST_GEOMETRYFROMWKT('SRID=4326;POINT(1.0 2.0)')) AS binary_geometry; ┌────────────────────────────────────────────────────┐ │ binary_geometry │ ├────────────────────────────────────────────────────┤ │ 0101000020E6100000000000000000F03F0000000000000040 │ └────────────────────────────────────────────────────┘ SELECT TO_BINARY(ST_GEOGRAPHYFROMEWKT('SRID=4326;POINT(-122.35 37.55)')) AS binary_geography; ┌────────────────────────────────────────────────────┐ │ binary_geography │ ├────────────────────────────────────────────────────┤ │ 0101000020E61000006666666666965EC06666666666C64240 │ └────────────────────────────────────────────────────┘ 

TRY_TO_BINARY 是 TO_BINARY 的增强版本，它将输入表达式转换为二进制值，如果转换失败则返回 NULL，而不是报错。

SELECT TRY_TO_BINARY(PARSE_JSON(NULL)) AS binary_variant_invalid_json; ┌─────────────────────────────┐ │ binary_variant_invalid_json │ ├─────────────────────────────┤ │ NULL │ └─────────────────────────────┘ 

字符串函数：JARO_WINKLER

JARO_WINKLER 计算两个字符串之间的 Jaro-Winkler 距离。它通常用于测量字符串之间的相似度，值范围从 0.0（完全不同）到 1.0（完全相同）。

SELECT JARO_WINKLER('databend', 'Databend') AS similarity; ┌────────────────────┐ │ similarity │ ├────────────────────┤ │ 0.9166666666666666 │ └────────────────────┘ SELECT JARO_WINKLER('databend', 'database') AS similarity; ┌────────────┐ │ similarity │ ├────────────┤ │ 0.9 │ └────────────┘ 

Databend 集成到 DBeaver 24.3.1

Databend 现已在 DBeaver 24.3.1 中获得官方支持，作为 Analytical 数据库的新连接类型：

私有云管控平台

Databend 新增私有云管理平台，实现对私有云部署的 Databend 节点状态的监控和管理。

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud：databend.cn

📖 Databend 文档：docs.databend.cn/

💻 Wechat：Databend

✨ GitHub：github.com/databendlab...