Databend 开源周报第 108 期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
多源数据目录
在 Databend 中,Catalog 是数据组织的最高一级抽象,可以帮助用户高效管理和访问数据源。
Databend 具备多源数据目录(Multiple Catalog)能力,目前已经支持 Apache Iceberg 和 Apache Hive 两类外部 Catalog 。
通过挂载外部 Catalog ,无需将数据加载到 Databend 中,就可以进行高效查询。
-- Create a Hive catalog CREATE CATALOG hive_ctl TYPE = HIVE CONNECTION =( METASTORE_ADDRESS = '127.0.0.1:9083' URL = 's3://databend-toronto/' AWS_KEY_ID = '<your_key_id>' AWS_SECRET_KEY = '<your_secret_key>' );
如果您想了解更多信息,请查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
利用 cargo-pgo
实现 PGO
Profile-guided optimization (PGO) 是一种常见的编译优化技术,可以利用程序运行时采集到的 profiling 信息来引导编译器进行针对性的优化,生成更高质量的代码,从而提高程序的性能。
根据测试,利用 PGO ,Databend 在某些场景下可以取得大约 10% 的性能提高。PGO 的具体表现取决于实际的工作负载,你可以尝试应用 PGO 技术来优化 Databend 集群的性能。
如果您想了解更多信息,请查看下面列出的资源。
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 实现
json_pretty
函数。 - 改进内连接(inner join)性能。
- 为 HTTP 查询接口增加更多统计指标。
- 为 Hive Catalog 实现
SHOW DATABASES
和SHOW TABLES
支持。 - 阅读 Blog | Revolutionizing Data Archival and Query Performance for Pharmaceutical Group 了解 Databend 在药品零售领域的客户成功故事。
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
利用 SQLsmith 实施模糊测试
SQLsmith 专注于生成随机的、类型感知和列感知的 SQL 查询,通常能够通过语义检查,从而进一步测试数据库的执行逻辑。
过去,Databend 已经支持 SQLancer 以及随机生成输入的传统模糊测试。Databend 团队计划引入 SQLsmith 来实现域感知模糊测试,提供更全面、更具针对性的测试结果,提高发现漏洞的可能。
Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
凹语言开源1周年,说了这些
8月24日晚,中国开源社区 Landscape 社区畅聊系列直播活动,邀请了凹语言项目联合发起人柴树杉、丁尔男,和临时决策委员会委员扈梦明、赵普明4位嘉宾做客直播间,分享凹语言开源一周年发生的事情。 首先,柴树杉介绍了凹语言项目的起源和成立原因。作为一名从业多年的码农,大学时就对编程语言有所研究,十几年后又对WebAssembly进行了技术实践,他期望设计出一款可生产用的编程语言。在项目初期,对如何进展迷茫和来自各方面的阻力让凹语言项目沉寂了3年,但是国外TinyGo、AssemblyScript和V语言等项目为项目成员提供了思路和参考,并且柴树杉、丁尔男、史斌3位联合发起人深入研究Go语言语法树部分并出版《Go语言定制指南》一书,为凹语言未来发展路线的关键技术提供了理论准备,凹语言项目从开始的想法,到经过3个联合发起人的共同实践,终于启动并在2022年7月完成了凹语言的开源工作。 至于为何取名为“凹语言”,丁尔男介绍到,因为编译目标定为Wasm平台,所以刚开始起的名字是Wa-Lang,也就是WasmLanguage的缩写,后来发现“凹”字的形状跟Wasm的图标挺相似,恰好形状读音双重...
- 下一篇
smart-http v1.3.0 发布,轻量级的开源 HTTP 服务器
smart-http v1.3.0 已经发布,轻量级的开源 HTTP 服务器 此版本更新内容包括: 改进 HttpClient 的 chunked 判定依据。 移除默认的 gzip 适配,改由用户自主编码实现。 新增 smart-http-restful-mybatis 模块,支持 Mapper 的 Bean 实例化注入。 smart-http-restufl 支持自定义注解的 Bean 实例化。 smart-http-restufl 支持反序列化 JSON 数组的请求体。 优化 Http 服务异常响应处理逻辑。 新增单元测试用例。 smart-socket 升级至 1.5.33 详情查看:https://gitee.com/smartboot/smart-http/releases/v1.3.0
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 2048小游戏-低调大师作品
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,CentOS7官方镜像安装Oracle11G