空学Kafka之二

继续上一篇 (空学Kafka之一)[https://www.atatech.org/articles/145913]

构建数据通道

考量点

及时性，可靠性，吞吐量，安全性（通道安全，审计等），数据格式的上线兼容，ETL or ELT，统一还是专属（比如GoldenGate是oracle私有的，有很强的耦合性），优先选择Kafka Connect

深入浅出Connect

连接器插件实现了 Connector API，API 包含了两部分内容。大致上是分而治之的思想，连接器相当于分拆器splittor，任务相当于拆分后的具体执行器executer。

1. 连接器：负责以下三件事。

   • 决定需要运行多少个任务。
   • 按照任务来拆分数据复制。
   • 从 worker 进程获取任务配置并将其传递下去。
2. 任务：负责将数据移入或移出 Kafka。

相比较直接采用Kafka的publis