Apache Arrow 6.0.0 发布
Apache Arrow 是一个列式内存分析层,旨在加速大数据的分析。它包含了一套平面和分层数据的典型内存表示,以及用于结构化数据的多种语言绑定。目前支持的语言包括 C、C++、C#、Go、Java、JavaScript、Julia、MATLAB、Python、R、Ruby 和 Rust。
Apache Arrow 6.0.0 正式发布,更新内容如下:
新功能和改进
- ARROW-1565 - [C++] 实现 TopK/BottomK
- ARROW-1568 - [C++] 实现 "drop null" 内核,返回没有空值的数组
- ARROW-4700 - [C++] 在 arrow::json::TableReader 中添加 DecimalType 支持
- ARROW-5002 - [C++] 实现 Hash Aggregation 的查询执行节点
- ARROW-5244 - [C++] 审查实验性/不稳定的 API
- ARROW-6607 - [Python] 从 Pandas 转换时支持集合/列表列
- ARROW-6626 - [Python] 在转换为 Arrow 时,将嵌套的 "集合" 值作为列表处理
- ARROW-6870 - [C#] 增加对字典数组和字典编码的支持
- ARROW-7102 - [Python] 使文件系统与 fsspec 兼容
- ARROW-7179 - [C++] 合并 fill_null 和 coalesce
- ARROW-7901 - [Integration][Go] 增加空类型
- ARROW-8147 - [C++] 在 ThirdpartyToolchain 中加入 google-cloud-cpp
- ARROW-8379 - [R] 调查/修复线程安全问题(特别是 Windows)
- ARROW-8621 - [Release][Go] 通过创建标签添加模块支持
- ARROW-9434 - [C++] 在 UnionScalar::value 中存储 type_code 信息
- ARROW-9719 - [Doc][Python] 更好地记录新的 pa.fs.HadoopFileSystem
- ……
错误修复
- ARROW-8453 - [Integration][Go] 递归嵌套类型不被支持
- ARROW-9948 - [C++] Decimal128 在重新调整比例时不检查比例范围,可能导致缓冲区溢出
- ARROW-10373 - [C++] ValidateFull() 不能验证 null_count
- ARROW-10773 - [R] 并行的 as.data.frame.Table 在 Windows 上无限期地挂起
- ARROW-11518 - [C++] [Parquet] Parquet 阅读器在读取布尔列时崩溃了
- ARROW-11579 - [R] read_feather 在 Windows 上挂起
- ARROW-11634 - [C++][Parquet] 字典列的 Parquet 统计(最小/最大)不正确
- ARROW-11729 - [R] 在数据集文档中添加实例
- ARROW-12011 - [C++][Python] 将大的整数转换为日期时出现崩溃和不正确的结果
- ……