数据湖管理及优化
摘要：本文整理自阿里云开源大数据高级开发工程师杨庆苇在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分： 数据湖元数据仓库介绍 阿里云DLF数据湖管理与优化 点击查看直播回放 数据湖元数据仓库介绍 数据湖的实践过程中，我们面临了诸多挑战： 第一，数据难以识别和查找。数据湖内存在大量未被有效识别的数据，可能是历史遗留或未被管理的数据，比如通过文件拷贝上传或其他工具引擎写入湖内的数据。其次，传统元数据服务里缺乏有效的检索服务，数据增长到一定规模时，很难从大量元数据中搜索和定位到特定场景下的数据。 第二，数据资产管理能力弱，湖上缺乏有效的数据资产分析和优化工具，难以精细化掌握库、表分区级别的数据明细。对 schema 维度存储分层方案落地困难，数据冷热难以辨别，无法在库、表分区维度实现分层。 第三，湖格式优化缺乏系统的解决方案。比如小文件合并操作需要用户对湖格式有一定的了解，能主动发现部分 schema 存在不合理的小文件，且利用计算引擎运行小文件合并任务，存在一定的使用门槛。此外，需要用户能够识别无效的历史数据以对其进行清理。 为了解决数据湖实践过程中遇到的挑战，综合湖...
