Delta Lake 2.0.0 正式发布,重申开源承诺
Delta Lake 2.0.0 现已发布,该版本发布正值 Delta Lake 的 3 岁生日之际。“我们很高兴地宣布在Apache Spark 3.2 上发布 Delta Lake 2.0 (pypi,maven,release notes)......Delta Lake 2.0 的意义不仅仅是一个数字,它重申了我们对 Delta Lake 开源的集体承诺”。 Delta Lake 是一个存储层,为 Apache Spark 和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optimistic concurrency control),在写入数据期间提供一致性的读取,从而为构建在 HDFS 和云存储上的数据湖(data lakes)带来可靠性。 此版本的一些主要功能包括: 支持 Delta表上的 Change Data Feed。Change Data Feed 表示不同版本的表之间的行级更改。启用后,将记录有关表上每个写入操作的行级别更改的附加信息。有关更多详细信息,可参阅文档。 支持数据的 Z-Order 聚类,减少读取的数据量。...