类似 Git 的文件对象存储 —— LakeFS

LakeFS 是一种开源工具，可将你的对象存储转换为类似 Git 的存储库；它使你能够以管理代码的方式管理数据湖。

使用 LakeFS，你可以构建可重复的、atomic 和版本化的数据湖操作 - 从复杂的 ETL 作业到数据科学和分析。

LakeFS 支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为其底层存储服务。它与 S3 的 API 兼容，并与所有现代数据框架（如 Spark、Hive、AWS Athena、Presto 等）无缝协作。

特性：

• 百万亿规模的版本控制
• 类似于 Git 的操作：branch、commit、merge、revert
• Zero copy branching 用于 frictionless 实验

• 数据和代码的完全可重复性

• 用于 data CI/CD 的 Pre-commit/merge hooks

• 即时恢复对数据的修改