Databend 开源周报第 133 期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
了解对开放表格式的引擎支持
Databend 通过表引擎支持不同类型的开放表格式,以满足不同技术栈数据湖方案的高级分析需求。
目前 Databend 通过表引擎提供对 Apache Iceberg 和 Delta 两种目前最受欢迎的开放表格式的支持。参考使用方式如下:
--Set up connection CREATE CONNECTION my_s3_conn STORAGE_TYPE = 's3' ACCESS_KEY_ID ='your-ak' SECRET_ACCESS_KEY ='your-sk'; -- Create table with Open Table Format engine CREATE TABLE test_engine ENGINE = [Delta | Iceberg] LOCATION = 's3://testbucket/admin/data/' CONNECTION_NAME = 'my_s3_conn';
如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
TPC-H Benchmark: Databend Cloud vs. Snowflake
TPC-H 基准测试是评估决策支持系统的标准,专注于复杂查询和数据维护,包含 22 条查询。在这项分析中,我们使用 TPC-H SF100(SF1 = 600万行)数据集比较了 Databend Cloud 和 Snowflake 的性能和成本。
类别 | 数据载入 | 冷启动 | 热启动 | |
---|---|---|---|---|
Databend Cloud | 446s, $0.25 | 166s, $0.09 | 124s, $0.07 | |
Snowflake | 695s, $0.77 | 207s, $0.23 | 138s, $0.15 |
如果你对测试具体细节和复现步骤感兴趣,可以阅读 TPC-H Benchmark: Databend Cloud vs. Snowflake 获取详细信息。
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 支持函数
div0
和divnull
。 - 支持创建包含 GEOMETRY 类型的表。
- 支持
VACUUM TEMPORARY FILES [RETAIN <number> SECONDS|DAYS] [LIMIT <number>];
语句,以清除临时文件。
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
支持 DESC[RIBE] [TABLE] <name>
Databend 已经支持 DESC[RIBE] <name>
语句,用于描述表的相关信息。
现在希望对此语法进行扩充,改进为 DESC[RIBE] [TABLE] <name>
,一方面保持与其他数据库系统惯用语法一致,另一方面可以进一步明确描述的对象类型。
在此改进后,我们预期可以同时支持以下两种方式获取表 t1
的相关信息:
desc t1; desc table t1;
Issue #14713 | feat: DESC[RIBE] [TABLE] <name>
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【直播预告】程序员逆袭 CEO 分几步?
2024年,是充满未知和挑战的一年。AI 的发展日新月异,已经有人用它来写代码了,啥时候会替代程序员,可真不好说。另一方面,程序员扎堆的 IT 互联网行业却进入了平台期甚至下行期,降本增效成为行业主流,裁员缩招的声音不绝于耳。在这种前有狼后有虎的年头,作为程序员,又该何去何从? 程序员的职业生涯,真的只能走到35岁吗?我们该如何做,才能夯实自身,提高替代难度?又该如何学习,才能不断进步,勇立潮头?对于有创业梦想的人,又该如何规划,才能穿越牛熊,逆流而上? 《开源漫谈》新年特辑,OSCHINA【开源漫谈】特地邀请了1位业内嘉宾,直播分享一下程序员转型 CEO 的经历,给2024年想发大财的各位一点经验参考,助力大家实现每一个梦想。 直播主题:程序员逆袭CEO分几步? 直播时间:3 月 6 日 19:00 - 20:30 直播平台:“OSC 开源社区”视频号 主办方:开源中国 特邀嘉宾:马工 直播亮点: 1、AI 大模型对前端、架构等不同岗位都有哪些影响? 2、AI 会催生更多底层架构和云端后台技术岗位需求吗? 3、未来 3 ~ 5 年,程序员职业有哪些新变化或发展方向? 4、普通程序...
- 下一篇
揭秘百度数仓融合计算引擎
作者 | Spark源码践行者 导读 本文介绍了百度数仓融合计算引擎的整体设计原理、优化及实践,阐述了在互联网产品快速迭代的趋势下,基于一层数仓宽表模型的数仓模型如何做到数十秒级查询的技术方案,并从互联网业务变化特性、传统计算引擎存在的问题、融合计算引擎的原理及优缺点、引擎应用场景和效果等角度进行了较为全面的分析,最终通过引擎设计和优化实现了提升查询性能的同时节约数仓存储的目标,降低了用户的数据使用成本。 01 业务背景 1.1 数据现状和数据分析引擎的演进 1.1.1 数据现状 互联网企业往往存在多个产品线,每天源源不断产出大量数据,数仓规模达到数百PB以上,这些数据服务于数据分析师、业务上的产品经理、运营、数据开发人员等各角色。为了满足这些角色的各种需求,需要稳定高效的计算引擎在海量数据中快速完成分析计算。 1.1.2数据分析引擎的演进及百度数仓引擎选型 单机分析时代(数仓TB级别)-> MapReduce、Hive基于磁盘的分析时代(数仓数PB级别,分析耗时数十分钟)-> Spark基于内存的分析时代(数仓数百PB,分析耗时数十秒) 百度数仓引擎选型:对比了业界常用的...
相关文章
文章评论
共有0条评论来说两句吧...