Apache Flink 1.11.0 发布
Apache Flink 社区宣布了Flink1.11.0的发布,该版本的一些重点内容如下: core engine 引入了 unaligned checkpoints,这是对 Flink 的容错机制的重大更改,该机制可改善在高背压下的检查点性能。 一个新的 Source API通过统一批处理和 streaming 执行以及将内部组件(例如事件时间处理、水印生成或空闲检测)卸载到 Flink 来简化(自定义)sources 的实现。 Flink SQL 引入了对变更数据捕获(CDC)的支持,以轻松使用和解释来自 Debezium 之类的工具的数据库变更日志。更新的FileSystem 连接器还扩展了 Table API/SQL 支持的用例和格式集,从而实现了直接启用从 Kafka 到 Hive 的 streaming 数据传输等方案。 PyFlink 的多项性能优化,包括对矢量化用户定义函数(Pandas UDF)的支持。这改善了与 Pandas 和 NumPy 之类库的互操作性,使 Flink 在数据科学和 ML 工作负载方面更强大。 重要变化 [FLINK-17339]从 Flin...