马蜂窝毕博:分析完这9点工作原理,我们最终选择了 Apache SeaTunnel!
点亮 ⭐️ Star · 照亮开源之路 https://github.com/apache/incubator-seatunnel 讲师简介 毕博 马蜂窝 数据工程师 在10月15日,Apache SeaTunnel& IoTDB 联合 Meetup 期间,马蜂窝网数据工程师毕博给大家介绍了SeaTunnel的基本原理和相关企业实践思考、马蜂窝大数据开发调度平台典型场景下的痛点和优化思考,并分享了个人参与社区贡献的实践经验,希望同时能帮助大家快速了解SeaTunnel及参与社区建设的路径和技巧。 ✦SeaTunnel的技术原理简介✦ SeaTunnel 是一个分布式、高性能的数据集成平台,用于海量数据(离线和实时)的同步和转换 上面这张图展示的是 SeaTunnel 的工作流程,简单来说包含3个部分:输入、转换、输出;更复杂的数据处理,也无非是几种行为的组合。 **以一个同步场景为例,**比如将 Kafka 导入到 Elasticsearch ,Kafka 就是 流程中的 Source ,而 Elasticsearch 就是流程中的 Sink 。 如果在导入的过程中...