Databend 产品月报(2025年4月)
很高兴为您带来 Databend 2025 年 4 月的最新更新、新功能和改进!我们希望这些增强功能对您有所帮助,并期待您的反馈。
BendDeploy:安装 Databend 的新方式
BendDeploy 是由 Databend 开发的一款基于 Kubernetes 的平台,旨在简化和标准化 Databend 集群的部署与管理。它提供可视化、用户友好的界面,支持多集群、多租户操作,显著提升了运维效率、系统可靠性以及管控能力。
- 多租户管理:为不同租户提供隔离的环境,并支持基于角色的用户访问控制。
- 一键集群部署:只需几次点击即可轻松启动并管理 Databend 集群。
- 生命周期管理操作:支持滚动升级、版本回滚、水平扩展和集群重启等功能。
- 可视化监控与日志:集成节点状态视图、日志(如查询日志、性能分析日志)以及外部 Prometheus 指标。
- 网页 SQL 工作台:可在 UI 中直接执行 SQL 查询,并可指定目标租户集群。
BendSave:一条命令完成数据备份与恢复
BendSave 是一款命令行工具,用于备份和恢复 Databend 中的元数据及实际数据文件。它将备份内容存储在兼容 S3 的对象存储中,非常适合用于灾难恢复场景。
export AWS_ACCESS_KEY_ID=minioadmin export AWS_SECRET_ACCESS_KEY=minioadmin # Backup ./databend-bendsave backup \ --from ../configs/databend-query.toml \ --to 's3://backupbucket?endpoint=http://127.0.0.1:9000/®ion=us-east-1' # Restore ./databend-bendsave restore \ --from "s3://backupbucket?endpoint=http://127.0.0.1:9000/®ion=us-east-1" \ --to-query ../configs/databend-query.toml \ --to-meta ../configs/databend-meta.toml \ --confirm
查询结果缓存
查询结果缓存是 Databend 的一项性能优化功能,用于存储先前查询的结果。对于重复执行的查询,系统可直接从缓存中返回结果,而无需重新计算,从而降低查询延迟并提升整体系统效率,尤其适用于重复的分析型工作负载。
有关如何启用和配置查询结果缓存的详细信息,请参阅查询结果缓存。
动态列默认值:NEXTVAL()
您现在可以在创建表时,使用来自序列的动态值作为列的默认值。通过 NEXTVAL(<seq>)
,每次插入新行时,该列将自动获取序列生成的下一个值。
CREATE SEQUENCE staff_id_seq; CREATE TABLE staff ( staff_id INT DEFAULT NEXTVAL(staff_id_seq), -- Assigns the next number from the sequence 'staff_id_seq' if no value is provided name VARCHAR(50), department VARCHAR(50) DEFAULT 'Marketing' -- Defaults to 'Marketing' if no value is provided );
查询文件级元数据
您现在可以从暂存文件中查询文件级别的元数据信息,例如文件名和行号。
-- Querying Metadata Fields SELECT metadata$filename, metadata$file_row_number, * FROM @my_internal_stage/iris.parquet LIMIT 5; -- Using Metadata in COPY INTO COPY INTO iris_with_meta FROM (SELECT metadata$filename, metadata$file_row_number, $1, $2, $3, $4, $5 FROM @my_internal_stage/iris.parquet) FILE_FORMAT=(TYPE=parquet);
新文件格式:Avro
Apache Avro™ 是领先的记录数据序列化格式,也是流式数据管道的首选格式。Databend 现已支持将 Avro 作为加载数据的文件格式。
COPY INTO userdata FROM 'https://raw.githubusercontent.com/Teradata/kylo/master/samples/sample-data/avro/userdata1.avro' FILE_FORMAT = (type = avro);
新函数
-
LISTAGG:将多行中的值连接成一个字符串,并用指定的分隔符分隔。
-- Aggregate Function LISTAGG([DISTINCT] <expr> [, <delimiter>]) [WITHIN GROUP (ORDER BY <order_by_expr>)]
-- Window Function LISTAGG([DISTINCT] <expr> [, <delimiter>]) [WITHIN GROUP (ORDER BY <order_by_expr>)] OVER ([PARTITION BY <partition_expr>])
-
DATE_BETWEEN:计算两个日期或时间戳之间的时间间隔,以指定的单位返回差值,正值表示第一个时间早于第二个时间,负值表示相反。
DATE_BETWEEN( YEAR | QUARTER | MONTH | WEEK | DAY | HOUR | MINUTE | SECOND | DOW | DOY | EPOCH | ISODOW | YEARWEEK | MILLENNIUM, <start_date_or_timestamp>, <end_date_or_timestamp> )
-
GLOB:使用通配符执行区分大小写的模式匹配。
GLOB(<string>, <pattern>)
关于 Databend
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式湖仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。
👨💻 Databend Cloud:databend.cn
📖 Databend 文档:docs.databend.cn
💻 Wechat:Databend
✨ GitHub:github.com/databendlab...

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
第112期深圳站源创会成功举办,共话机器人软件系统未来
4月26日,【未来智造:机器⼈软件系统技术前沿】OSC源创会·深圳站·112期在会展中心成功举办。现场人气满满,吸引了近 150 位开发者、行业专家及机器人技术爱好者参与。 本期源创会活动联合机器人全产业链接会(FAIR plus 2025)共同举办,FAIR plus 2025活动由深圳市工业和信息化局、中国科学院深圳先进技术研究院指导,深圳市机器人协会主办,以“智启未来、链动全球”为主题,为期3天,观展近3.5万人次,成功打造集新品发布、产品呈现、产业展览、技术交流、学术研讨、供需对接于一体的国际级机器人合作交流盛会,引领具身智能机器人产业发展新浪潮。 本期源创会围绕机器人软件系统的前沿技术展开深度探讨,涵盖多维感知、运动控制、数据开源、操作系统与 ROS 实战等核心议题,并展示了多项突破性技术与应用成果。 从机器人竞赛到软件系统实践:日本创客文化对技术创新的启发 Switch Science 全球业务发展人员、早稻田大学客座教授高須正和发表《从机器人竞赛到软件系统实践:日本创客文化对技术创新的启发》主题演讲。高須正和从日本机器人比赛情况、日本创意源泉、以及中日国际链接三个角度做了...
- 下一篇
大数据从业者必知必会的Hive SQL调优技巧
作者:京东科技 李然辉 大数据从业者必知必会的Hive SQL调优技巧 摘要:在大数据领域中,Hive SQL被广泛应用于数据仓库的数据查询和分析。然而,由于数据量庞大和复杂的查询需求,Hive SQL查询的性能往往不尽人意。本文针对Hive SQL的性能优化进行深入研究,提出了一系列可行的调优方案,并给出了相应的优化案例和优化前后的SQL代码。通过合理的优化策略和技巧,能够显著提升Hive SQL的执行效率和响应速度。 关键词:Hive SQL;性能优化;调优方案;优化案例 1. 引言 随着大数据时代的到来,数据分析和挖掘变得越来越重要。Hive作为Hadoop生态系统中的数据仓库工具,扮演着重要的角色。然而,由于数据量庞大和查询复杂性,Hive SQL查询的执行效率往往较低。因此,深入了解Hive SQL调优技巧对于数据工程师和数据分析师来说至关重要。 2. 先做个自我反思 很多时候, Hive SQL 运行得慢是由开发人员对于使用的数据了解不够以及一些不良的使用习惯引起的。 • 真的需要扫描这么多分区吗? 比如,对于销售明细事务表来说,扫描一年的分区和扫描一周的分区所带来的计算、...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS8编译安装MySQL8.0.19
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Windows10,CentOS7,CentOS8安装Nodejs环境
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS关闭SELinux安全模块
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Linux系统CentOS6、CentOS7手动修改IP地址