Delta Lake Presto Integration & Manifests 机制

原文链接

该功能与我们之前平台化 Delta Lake 平台化实践（离线篇) 的很多工作都较为相似，比如与 metastore 的集成，直接通过 manifest 读取 delta 存活文件等。
Delta Lake 在 0.5 之前只支持通过 Spark 读取数据，在新版本中增加了其他处理引擎通过 manifest 文件访问 Delta Lake 的能力。下文以Presto 为例说明如何通过 manifest 文件访问数据，manifest 文件的生成及其一些限制。

01 使用

Presto 使用 manifest 文件从 hive 外部表中读取数据，manifest文件是一个文本文件，包含该表/分区所有存活数据的路径列表。

当使用 manifest 文件在 Hive metastore 中定义外部表时，Presto 将会先读取 mani