Databend 开源周报第 107 期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
理解连接参数
连接参数 是建立与 Databend 支持的外部存储服务(如Amazon S3)的连接时所需的一组身份验证和配置信息。这些参数被括号包围、由一组用逗号或空格分隔的键值对组成。在创建 Stage 、COPY INTO
和查询外部文件时都会用到。
下面的 SQL 语句展示了如何利用连接参数创建用 S3 作为底层存储的 Stage 。
CREATE STAGE my_s3_stage URL = 's3://load/files/' CONNECTION = ( ACCESS_KEY_ID = '<your-access-key-id>', SECRET_ACCESS_KEY = '<your-secret-access-key>' );
如果您想了解更多信息,请查看下面列出的资源。
Hive Catalog 支持配置存储参数
在刚刚过去的一周中,Databend 为 Hive Catalog 引入了存储参数选项,允许为其配置特定的存储服务,不再依赖 Default Catalog 自身的存储后端。
下面的例子展示了如何创建以 MinIO 作为底层存储服务的 Hive Catalog :
CREATE CATALOG hive_ctl TYPE = HIVE CONNECTION =( ADDRESS = '127.0.0.1:9083' URL = 's3://warehouse/' AWS_KEY_ID = 'admin' AWS_SECRET_KEY = 'password' ENDPOINT_URL = 'http://localhost:9000/' )
如果您想了解更多信息,请查看下面列出的资源。
- Issue #12407 | Feature: Add storage support for Hive catalog
- PR #12469 | feat: Add storage params in hive catalog
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
使用 gitoxide
加速 Git 依赖下载
gitoxide
是一个用 Rust 编写的高性能、现代化的 Git 实现。利用 cargo
的 gitoxide
特性(Unstable),可以使用 gitoxide
crate 替代 git2
执行各种 git 操作,从而在下载 crates-index 和 git 依赖时获得数倍的性能提高。
Databend 最近在 CI 中为 cargo {build | clippy | test}
启用了这一特性,你也可以在本地开发时尝试添加 -Zgitoxide
选项来加速构建过程:
cargo -Zgitoxide=fetch,shallow-index,shallow-deps build
如果您想了解更多信息,请查看下面列出的资源。
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- 不与
SELECT
共用也可以单独使用VALUES
子句。 - 变更列时支持修改默认值。
- 为 Parquet 格式的表添加虚拟列支持
- 支持在执行写入操作(
COPY INTO
和REPLACE INTO
)后对表进行自动重聚类
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
增强 infer_schema
能力以支持文件路径
当前,Databend 既支持查询由文件路径指向的文件也支持查询位于 Stage 中的文件,例如:
select * from 'fs:///home/...'; select * from 's3://bucket/...'; select * from @stage;
然而,目前 infer_schema
只支持处理位于 Stage 中的文件:
select * from infer_schema(location=>'@stage/...');
如果需要位于其它路径下的文件进行推断,就会导致报错:
select * from infer_schema(location =>'fs:///home/...'); -- this will panic.
我们希望可以统一 infer_schema
函数的行为,允许其对所有位置的文件进行推断,使之具有更好的可用性。
Issue #12458 | Feature: infer_schema
support normal file path
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
300 倍的性能提升!PieCloudDB Database 优化器「达奇」又出新“招”啦
随着数字化进程的加快,全球数据量呈指数级增长,对数据库系统的性能提出了巨大的挑战。优化器作为数据库管理系统中的关键技术,对数据库性能和效率具有重要影响,它通过对用户的查询请求进行解析和优化来生成高效的执行计划,进而快速返回查询结果。然而,同一条 SQL 语句在不同的优化决策下可能会产生数量级的性能差异。随着数据规模和查询复杂性的增加,优化器的不断发展和创新将成为数据库系统持续提升性能的重要方向,也是数据库系统的最强有力的竞争力之一。 针对云原生和分布式场景,云原生虚拟数仓 PieCloudDB Database 设计与打造了新一代优化器:「达奇」。这个命名灵感来自于游戏《荒野大镖客》中的一个 NPC 角色,他的口头禅“I have a plan”与优化器的功能非常契合。 优化器「达奇」在 PieCloudDB 中实现了许多优化特性,通过生成高质量的查询计划,充当数据库系统的“智囊团”,确保用户的查询性能和效率。「达奇」通过智能地分析查询语句、优化查询计划以及利用分布式数据存储和计算能力,实现了更快速、更高效的查询处理。 拓数派吉祥物「派派」 1 聚集操作与聚集下推 今天,我们将详细介绍...
- 下一篇
【直播预告】没有“专业”的向量数据库,大模型就玩不转了吗?
向量数据库曾寂寂无名,然而随着生成式 AI 大模型的爆发式增长,其热度被推向了前所未有的巅峰。 不久前,诸多向量数据库公司纷纷宣布完成融资: Pinecone 完成 1 亿美元 B 轮融资,WeaviateBV 获得 5000 万美元 B 轮融资,Chroma 获得 1800 万美元种子轮融资,Qdrant 获 750 万美元种子融资。资本的涌入侧面可以证明向量数据库的爆火程度。 在国内,除了 Zilliz 这只领头羊在向量数据库赛道驰骋之外,大华股份、云创数据、中国软件、东软集团、每日互动、星环科技和美亚柏科等公司也正在押注这一领域。 怎么,难道没有专业的向量数据库,大模型就玩不转了吗? 8 月 29 日,OSCHINA【开源漫谈】第2期,特意邀请了 5 位业内具有代表性的专家,以直播的方式,从以下角度对这一问题作出回答。 我们真的需要一个像 Milvus 这样的 “专业”向量数据库吗,还是像 PostgreSQL、Redis、ElasticSearch 等数据库一样升级向量功能支持就行了? 当企业面临选择向量数据库或者向量插件等产品时,主要考虑哪些因素? 结合实际场景,将各向量产品...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- 设置Eclipse缩进为4个空格,增强代码规范
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Mario游戏-低调大师作品
- CentOS8编译安装MySQL8.0.19
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Hadoop3单机部署,实现最简伪集群