Apache Arrow 4.0.0 发布，内存数据交换格式-低调大师

Apache Arrow 4.0.0 发布，内存数据交换格式

2021-05-21 991

Apache Arrow 4.0.0 现已发布，该版本涵盖了 3 个月的开发工作，包括来自 114 个不同贡献者的 711 个已解决的问题。此外，自 3.0.0 发布以来，Yibo Cai、Ian Cook 和 Jonathan Keane 已被邀请为 Arrow 的 committers，Andrew Lamb 和 Jorge Leitão 则加入了项目管理委员会（PMC）。

Apache Arrow 是 Apache 基金会的顶级项目之一，目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。它包含一组规范的内存中的平面和分层数据表示，以及多种语言绑定以进行结构操作。它还提供低架构流式传输和批量消息传递，零拷贝进程间通信（IPC）和矢量化的内存分析库。

新版本的一些更新内容如下：

Arrow Flight RPC notes

在 Java 中，应用程序现在可以在写入数据时启用零拷贝优化（ARROW-11066）。这有可能破坏源代码的兼容性，所以默认情况下不启用。

Arrow Flight 现在已被打包给 C#/.NET。

Linux packages notes

此前曾有由 Bintray 提供的用于 C++ 和 C GLib 的 Linux 软件包。但自 2021-05-01 起，Bintray 已不再可用。因此，它们现在由 Artifactory 提供。鉴于 URL 已经改变，所以用户需要改变安装说明。详情可查看安装页面的新说明。以下是需要修改的摘要：

对于 Debian GNU Linux 和 Ubuntu 用户：

用户需要更改apache-arrow-archive-keyring的安装说明：
- 程序包名称更改为apache-arrow-apt-source。
- 下载网址已从https://apache.bintray.com/arrow/...更改为https://apache.jfrog.io/artifactory/arrow/...。

对于 CentOS 和 Red Hat Enterprise Linux 用户：

用户需要更改apache-arrow-release的安装说明：
- 下载网址已从https://apache.bintray.com/arrow/...更改为https://apache.jfrog.io/artifactory/arrow/...。

C++ notes

Arrow C++ 库现在包括一个 vcpkg.json 清单文件和一个新的 CMake 选项-DARROW_DEPENDENCY_SOURCE=VCPKG，以简化使用 vcpkg 包管理器的依赖关系安装。这提供了一种在 Linux、macOS 和 Windows 上安装 C++ 库依赖项的替代方法。

macOS 上的默认内存分配器已从 jemalloc 改为 mimalloc，在一系列宏基准测试中产生了性能优势（ARROW-12316）。

根据 Arrow 格式规范，现在不允许非单调的密集联合偏移量，并在 Array::ValidateFull 中返回一个错误（ARROW-10580）。

Compute layer

计算内核中的自动隐式转换（ARROW-8919）。例如，对于两个数组的加法，首先将数组转换为它们的公共数字类型，而不是在类型不相等时出错。

已为数字数据添加了计算函数quantile（ARROW-10831）和power（ARROW-11070）。

用于字符串处理的计算函数已添加到：

修剪字符（ARROW-9128）。
提取由正则表达式模式捕获的子字符串（extract_regex，ARROW-10195）。
计算 UTF8 字符串长度（utf8_length，ARROW-11693）。
根据正则表达式模式匹配字符串（match_substring_regex，ARROW-12134）。
替换与文字模式或正则表达式匹配的非重叠子字符串（replace_substring和replace_substring_regex，ARROW-10306）。

现在可以对十进制和 fixed-width 的二进制数据进行排序（ARROW-11662）。

sum内核的精度得到了提高（ARROW-11758）。

CSV

CSV writer 已添加（ARROW-2229）。
CSV reader 现在可以推断出带有小数秒的时间戳列（ARROW-12031）。

Dataset

Arrow Datasets 获得了各种性能改进和新功能。一些重点：

可以在扫描时从任意表达式投影新列（ARROW-11174）
Parquet 在高延迟文件系统上的读取性能得到了改善，通常是在有成千上万的文件或更多的文件时。
可以写入 Null partition keys（ARROW-10438）
可以读取压缩的 CSV 文件（ARROW-10372）
文件系统支持异步操作（ARROW-10846）
用法和 API 文档已添加（ARROW-11677）

Files and filesystems

修复了一些罕见的 GZip 文件实例无法正确读取的情况（ARROW-12169）。
添加了对设置 S3 代理参数的支持（ARROW-8900）。
HDFS 文件系统现在可以一次写入 2GB 以上的数据（ARROW-11391）。

更多详情可查看更新说明：https://arrow.apache.org/blog/2021/05/03/4.0.0-release/

微信关注我们

原文链接：https://www.oschina.net/news/142662/apache-arrow-4-0-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

PhpStorm 2021.1.3 Preview 发布

PhpStorm 2021.1.3 的预览版已经发布，其中有大量的错误修复和稳定性改进。在该预览版中，值得关注的更新包括：修复：编辑器配色方案一直被切换到 Darcula (IDEA-265169+73) 更新了捆绑的 webpack schema (WEB-49925+13) 修复：标签和缩进设置拒绝保存 (IDEA-267368+9) 修复：未锁定的 Git 工具窗口不断缩小 (IDEA-266173+7) 新增：支持 PostgreSQL 的行安全策略 (DBE-6276+5) 新增：自动配置 PHPCS Fixer 3.0 (WI-60300) 修复：在尝试以 cs-fixer < 2.19 时加载 cs-fixer 的规则集时出现异常 (WI-60402) 修复：只有名称为 .php_cs、 .php-cs-fixer.php、 .php_cs.dist、 .php-cs-fixer.dist.php 的文件被接受为自定义规则集 (WI-60454) 更多详情可查看：https://blog.jetbrains.com/phpstorm/2021/05/phps...

2021-05-22

703

红旗 Linux 桌面操作系统 v11 社区预览版发布了 (0521) 更新。更新日志：较上一版本，红旗Linux桌面操作系统v11社区预览版（0521）主要更新如下： •发布红旗浏览器v1.0;• 修复主题异常问题;•修复部分系统缺陷; 更新方法：已安装红旗Linux桌面操作系统v11社区预览版的用户，可参考下列方法进行系统更新。方式1.软件商店自定义更新点击桌面左下角“R”图标，点击“系统”-“软件商店”-“检查更新”，根据更新提示可自定义选取需要更新的软件包或更新全部升级的软件包。方式2.终端命令更新更新网络源 sudo aptupdate-y 查看可更新软件 apt list --upgradable 可根据需求全部或选择性的手动安装相应更新包。

2021-05-22

646

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。