SparkSQL DatasourceV2 之 Multiple Catalog

原文链接
作者：马骏杰

问题

SparkSQL是Spark的一个子模块，主要功能是用于处理结构化数据，目前在大数据OLAP领域已经有了广泛的应用。Iceberg作为一个通用的表格式，也已经在数据湖的解决方案中逐渐展现了它的优势。

那该如何将这2者相结合，使得应用SparkSQL + Iceberg可以和SparkSQL + Hive一样方便，如，基于SQL直接访问数据或进行DDL操作：

select c1 from iceberg_db.t; drop table iceberg_db.t;

SparkSQL 基本原理

先来看下SparkSQL处理SQL的基本流程：

如上图所示，在提交SQL后，spark内部会经历语法解析生成逻辑计划，解析逻辑计划，优化逻辑计划，生成执行计划，执行。在解析逻辑计划的过程中，引入了catalog，它的作用是来判断S