T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践
在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上,T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出行的最新实践与应用,包括基于 Kyuubi 设计的 Flink SQL Engine,Kyuubi 与 Apache Linkis 的集成,以及在T3出行的落地实践。 JDBC 之于 Flink 的现状 首先我们来聊一下 Apache Flink 社区 JDBC 的现状,Flink 在最初是一个流式计算(data flow)的模型,后来将批处理也引入了 data flow 上来,形成了“流批一体”的理念。 Flink 的批处理逐步在发展,但相比于一些成熟的离线计算引擎,比如 Hive、Spark SQL 而言,还不是很成熟,表现之一就是对 JDBC 规范的支持比较欠缺。当然 Flink 社区为此也做出了一些努力,这里给大家分享两来自 Flink 的德国的母公司 Ververica 所开源的两个项目,一个叫做 Fl...