万字长文 | 一文讲透大数据同步专属引擎 “Zeta” 执行全流程
这篇文章会聊些什么 Apache SeaTunnel作为一款数据集成工具, 那么它最终的目的是来做数据同步, 将数据从某个存储同步到另外一个存储中。 但是这篇文章并不会聊它使用层面的事情, 而是去聊一下这个工具/框架的设计, 任务的执行等.对于某个连接器(数据库)的实现不会深入的了解,希望对你有帮助! 基于的源码版本: 2.3.6-release 这些类是如何被执行的 在我另外的文章中有一些关于Zeta引擎的分析, 聊了一下Zeta引擎的客户端, 服务端都会做一些什么事情, 也笼统的带了一点任务执行的内容, 想了解相关内容的朋友可以去看一下。 在下面的内容, 则主要是记录一下在SeaTunnel中, 一个任务是如何与上面的连接器中的各种类进行关联的。 要聊任务与连接器的关联, 就要回到物理计划生成的这一部分(PhysicalPlanGenerator#generate()). Stream<SubPlan> subPlanStream = pipelines.stream() .map( pipeline -> { this.pipelineTasks.clear()...
