Databend 开源周报第 146 期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。
What's On In Databend
探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。
支持 ExpressionScan
和 CacheScan
为进一步提高查询的效率和性能,Databend 近期支持了 ExpressionScan
和 CacheScan
。
- ExpressionScan 允许在读取数据的同时,动态计算表达式或函数。
- CacheScan 可以从
CacheSource::HashJoinBuil
读取数据,从而实现侧向语义。
select t1.a, v1.c1, v1.c2 from t1 inner join lateral (values('t1_b', t1.b), ('t1_c', t1.c)) as v1 ("c1", "c2") on t1.a = v1.c2 inner join lateral (values('t1_b', t1.b), ('t1_c', v1.c1)) as v2 ("c1", "c2") on t1.a = v2.c2;
其执行计划如下:
如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。
Code Corner
一起来探索 Databend 和周边生态中的代码片段或项目。
了解 Embedded UDFs
Databend 利用用户定义的函数(UDF)提供向 SQL 查询中嵌入自定义操作的能力。其中 Embedded UDFs 允许开发者直接在 SQL 查询中嵌入和执行编程代码。
目前 Databend 支持使用 JavaScript 和 WASM 作为 Embedded UDFs 。
CREATE FUNCTION wasm_gcd (INT, INT) RETURNS INT LANGUAGE wasm HANDLER = 'wasm_gcd(int4,int4)->int4' AS $$@data/udf/test10_udf_wasm_gcd.wasm.zst$$; SELECT number, wasm_gcd((number * 3), (number * 6)) FROM numbers(5) WHERE (number > 0) ORDER BY 1;
Highlights
以下是一些值得注意的事件,也许您可以找到感兴趣的内容。
- show grants 支持 where 和 limit 选项。
- 支持毫秒级任务调度。
- 为 OpenTelemetry 日志支持 HTTP 端点。
What's Up Next
我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。
为 UDF 增加 GRPC 接口
当前 Databend 的 UDF 服务封装在 Flight 服务中,当遇到连接问题时,很难判断这是网络问题还是服务器问题。
为了改善 Databend 在处理用户定义函数时的健壮性和透明度,需要提供一个内置的健康检查和信息报告方式,例如 Health.info()
接口。此接口将能够展示服务器中所有可用的 UDF 方法,从而简化问题的诊断过程。通过运行如下命令,用户可以快速检查服务状态:
grpcurl grpc.server.com:443 com.databend.udf.Health/info
Issue #15645 | feat: add a grpc info interface to UDF server framework
如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!
Changelog
前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。
地址:https://github.com/datafuselabs/databend/releases
Contributors
非常感谢贡献者们在本周的卓越工作。
Connect With Us
Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
利用英特尔 Gaudi 2 和至强 CPU 构建经济高效的企业级 RAG 应用
检索增强生成 (Retrieval Augmented Generation,RAG) 可将存储在外部数据库中的新鲜领域知识纳入大语言模型以增强其文本生成能力。其提供了一种将公司数据与训练期间语言模型学到的知识分开的方式,有助于我们在性能、准确性及安全隐私之间进行有效折衷。 通过本文,你将了解到英特尔如何通过企业 AI 开放平台 OPEA 开源项目帮助你开发和部署 RAG 应用。你还将通过真实的 RAG 使用案例了解英特尔 Gaudi 2 AI 加速器和至强 CPU 如何助力企业级应用性能的显著飞跃。 OPEA https://opea.dev 导入 在深入了解细节之前,我们先要获取硬件。英特尔 Gaudi 2 专为加速数据中心和云上的深度学习训练和推理而设计。你可在 英特尔开发者云 (IDC) 上获取其公开实例,也可在本地部署它。IDC 是尝试 Gaudi 2 的最简单方法,如果你尚没有帐户,可以考虑注册一个帐户,订阅 “Premium”,然后申请相应的访问权限。 英特尔 Gaudi 2 https://habana.ai/products/gaudi2/ 英特尔开发者云 (IDC)...
- 下一篇
深入探索令牌桶限流的原理与实践
在当今的互联网时代,随着用户数量和请求量的不断增加,系统的性能和稳定性面临着巨大的挑战。限流算法作为保障系统稳定性的重要手段之一,被广泛应用于各种服务和应用中。限流的核心目的是对某一时间窗口内的请求数进行限制,保持系统的可用性和稳定性,防止因流量暴增而导致的系统运行缓慢或宕机。 常见限流算法对比 常见的限流算法有四种: ● 令牌桶算法(Token Bucket) · 原理:令牌桶算法是一种基于令牌的限流算法,它维护一个固定容量的令牌桶,按照固定速率往桶中添加令牌,每当有请求到来时,消耗一个令牌,如果桶中没有足够的令牌,则拒绝该请求。 · 优点:平滑限流,可以应对突发流量;灵活控制流量速率。 · 缺点:对于突发流量,需要足够的令牌桶容量用来应对,否则可能会出现丢弃部分请求的情况。 ● 漏桶算法(Leaky Bucket) · 原理:漏桶算法是一种基于漏桶的限流算法,它维护一个固定容量的漏桶,按照固定速率漏水,当有请求到来时,漏桶中的水量增加,如果漏桶已满,则拒绝该请求。 · 优点:平滑限流,可以限制请求的处理速率。 · 缺点:对于突发流量,可能会出现短时的请求丢失。 ● 计数器算法(Fi...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境