实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

本文转载自公众号： eBay技术荟
作者 | 金澜涛
原文链接：https://mp.weixin.qq.com/s/L64xhtKztwWhlBQrreiDfQ

摘要

大数据处理技术朝传统数据库领域靠拢已经成为行业趋势，目前开源的大数据处理引擎，如Apache Spark、Apache Hadoop、Apache Flink等等都已经支持SQL接口，且SQL的使用往往占据主导地位。各个公司使用以上开源软件构建自己的ETL框架和OLAP技术，但在OLTP技术上，仍然是传统数据库的强项。其中的一个主要原因是传统数据库对ACID的支持。具有ACID能力的传统商用数据库基本都实现了完整的CRUD操作。而在大数据技术领域，由于缺少ACID的支持，基本只实现了C/R操作，对U/D操作很少涉及。

eBay数据仓库的部分基础设施是构建在商用数据产品Ter