空学Kafka之二
继续上一篇 (空学Kafka之一)[https://www.atatech.org/articles/145913] 构建数据通道 考量点 及时性,可靠性,吞吐量,安全性(通道安全,审计等),数据格式的上线兼容,ETL or ELT,统一还是专属(比如GoldenGate是oracle私有的,有很强的耦合性),优先选择Kafka Connect 深入浅出Connect 连接器插件实现了 Connector API,API 包含了两部分内容。大致上是分而治之的思想,连接器相当于分拆器splittor,任务相当于拆分后的具体执行器executer。 连接器:负责以下三件事。 决定需要运行多少个任务。 按照任务来拆分数据复制。 从 worker 进程获取任务配置并将其传递下去。 任务:负责将数据移入或移出 Kafka。 相比较直接采用Kafka的publis