DataFusion 5.0.0 发布，可扩展的查询执行框架-低调大师

DataFusion 5.0.0 发布，可扩展的查询执行框架

2021-08-25 2828 89

DataFusion 是一个可扩展的查询执行框架，用 Rust 编写，使用 Apache Arrow 作为其内存格式。

DataFusion 支持用于构建逻辑查询计划的 SQL 和 DataFrame API，以及能够使用线程对分区数据源（CSV 和 Parquet）并行执行的查询优化器和执行引擎。DataFusion 还通过 Ballista crate 支持分布式查询执行。

近日，Apache Arrow 团队正式推出了 DataFusion 5.0.0 版本，该版本汇集了 31 个不同的贡献者共 211 个提交。

该版本的更新亮点包括：

性能

这个版本在性能上有许多改进，下图显示了单个 TPC-H 查询与前一版本相比的相对性能。

该版本还扩展了对更多 TPC-H 查询的支持：q7、q8、q9 和 q13 均在 DataFusion 5.0 中成功运行。

新功能

对 SQL-99 Analytics 的初步支持；
改进了 JOIN 支持：cross join、semi-join、anti join，以及对空处理的修正；
改进的 EXPLAIN 支持；
支持 SELECT DISTINCT；
支持 Json 和 NDJson 格式的输入；
具有关系的查询列；
增加了更多与日期时间相关的函数： now, date_trunc, to_timestamp_millis, to_timestamp_micros, to_timestamp_seconds
Streaming Dataframe.collect；
支持表列别名；
仅使用统计数字回答 count(*)、min() 和 max() 查询；
支持按列位置分组；
增加了常量折叠查询优化器；
哈希分区聚合；
增加了 random SQL 函数；
实现了对浮点和字典类型的计数区分；
在 Datafusion 中重新导出 arrow 和 parquet 板块；

微信关注我们

原文链接：https://www.oschina.net/news/157328/datafusion-5-0-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2021-08-26 07:03:00

Apache Qpid Dispatch 1.17.0 发布

Qpid Dispatch 是一个轻量级的 Advanced Message Queuing Protocol 1.0 消息路由（AMQP 1.0），用 C 编写并基于 Qpid Proton 构建。它提供了一个 AMQP 端点之间灵活且可扩展的互连，无论它们是客户端、代理或其他支持 AMQP 的服务。新功能和改进 DISPATCH-1539- Python 2 已经过期 DISPATCH-2108- TCP 适配器应该汇总监听器和连接器的统计数据 DISPATCH-2142- 在 TCP 适配器中使用专用缓冲区 DISPATCH-2178- 不要单独构建 libqpid-dispatch.so DISPATCH-2198- [http2] 实现包含 q2 阻塞/非阻塞的 http2 流量控制 DISPATCH-2201- 删除 router_node.c 中 type_registered 全局标志； DISPATCH-2211- [http2] system_tests_grpc 在 http2 缓冲区泄漏的情况下失败； DISPATCH-2212- [http2] 当创建AMQ...

678

2021-08-26 07:19:00

Electron 13.2.2 发布，跨平台桌面应用开发工具

Electron 13.2.2现已发布，主要更新内容如下： Fixes 修复了webView中的一个问题，即如果用户用escc而不是点击进入webView退出全屏，则不会发出leave-html-full-screen事件。＃30560 修复了一个问题：当 x 或 y 坐标为负数（off-screen）时，背景色不能正确应用于 Windows 上的 BrowserViews。＃30540 修复了一个问题：在 macOS 上用titlebarStyle: 'hiddenInset'切换documentEdited状态时会无意中移动了 traffic light。＃30603 Other Changes Security：1227933 的反向移植修复。#30583 Security：1231950 的反向移植修复。#30584 Security：1234764 的反向移植修复。#30587 Security：1234770 的反向移植修复。#30586 Security：1234829 的反向移植修复。#30585 更新说明：https://github.com/electron/ele...

684

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。