DataFusion 5.0.0 发布，可扩展的查询执行框架-低调大师

DataFusion 5.0.0 发布，可扩展的查询执行框架

2021-08-25 2851

DataFusion 是一个可扩展的查询执行框架，用 Rust 编写，使用 Apache Arrow 作为其内存格式。

DataFusion 支持用于构建逻辑查询计划的 SQL 和 DataFrame API，以及能够使用线程对分区数据源（CSV 和 Parquet）并行执行的查询优化器和执行引擎。DataFusion 还通过 Ballista crate 支持分布式查询执行。

近日，Apache Arrow 团队正式推出了 DataFusion 5.0.0 版本，该版本汇集了 31 个不同的贡献者共 211 个提交。

该版本的更新亮点包括：

性能

这个版本在性能上有许多改进，下图显示了单个 TPC-H 查询与前一版本相比的相对性能。

该版本还扩展了对更多 TPC-H 查询的支持：q7、q8、q9 和 q13 均在 DataFusion 5.0 中成功运行。

新功能

对 SQL-99 Analytics 的初步支持；
改进了 JOIN 支持：cross join、semi-join、anti join，以及对空处理的修正；
改进的 EXPLAIN 支持；
支持 SELECT DISTINCT；
支持 Json 和 NDJson 格式的输入；
具有关系的查询列；
增加了更多与日期时间相关的函数： now, date_trunc, to_timestamp_millis, to_timestamp_micros, to_timestamp_seconds
Streaming Dataframe.collect；
支持表列别名；
仅使用统计数字回答 count(*)、min() 和 max() 查询；
支持按列位置分组；
增加了常量折叠查询优化器；
哈希分区聚合；
增加了 random SQL 函数；
实现了对浮点和字典类型的计数区分；
在 Datafusion 中重新导出 arrow 和 parquet 板块；

微信关注我们

原文链接：https://www.oschina.net/news/157328/datafusion-5-0-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Apache Qpid Dispatch 1.17.0 发布

Qpid Dispatch 是一个轻量级的 Advanced Message Queuing Protocol 1.0 消息路由（AMQP 1.0），用 C 编写并基于 Qpid Proton 构建。它提供了一个 AMQP 端点之间灵活且可扩展的互连，无论它们是客户端、代理或其他支持 AMQP 的服务。新功能和改进 DISPATCH-1539- Python 2 已经过期 DISPATCH-2108- TCP 适配器应该汇总监听器和连接器的统计数据 DISPATCH-2142- 在 TCP 适配器中使用专用缓冲区 DISPATCH-2178- 不要单独构建 libqpid-dispatch.so DISPATCH-2198- [http2] 实现包含 q2 阻塞/非阻塞的 http2 流量控制 DISPATCH-2201- 删除 router_node.c 中 type_registered 全局标志； DISPATCH-2211- [http2] system_tests_grpc 在 http2 缓冲区泄漏的情况下失败； DISPATCH-2212- [http2] 当创建AMQ...

2021-08-26

695

Electron 13.2.2现已发布，主要更新内容如下： Fixes 修复了webView中的一个问题，即如果用户用escc而不是点击进入webView退出全屏，则不会发出leave-html-full-screen事件。＃30560 修复了一个问题：当 x 或 y 坐标为负数（off-screen）时，背景色不能正确应用于 Windows 上的 BrowserViews。＃30540 修复了一个问题：在 macOS 上用titlebarStyle: 'hiddenInset'切换documentEdited状态时会无意中移动了 traffic light。＃30603 Other Changes Security：1227933 的反向移植修复。#30583 Security：1231950 的反向移植修复。#30584 Security：1234764 的反向移植修复。#30587 Security：1234770 的反向移植修复。#30586 Security：1234829 的反向移植修复。#30585 更新说明：https://github.com/electron/ele...

2021-08-26

697

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。