Apache Flink 1.11.0 发布
Apache Flink 社区宣布了 Flink 1.11.0 的发布,该版本的一些重点内容如下:
- core engine 引入了 unaligned checkpoints,这是对 Flink 的容错机制的重大更改,该机制可改善在高背压下的检查点性能。
- 一个新的 Source API 通过统一批处理和 streaming 执行以及将内部组件(例如事件时间处理、水印生成或空闲检测)卸载到 Flink 来简化(自定义)sources 的实现。
- Flink SQL 引入了对变更数据捕获(CDC)的支持,以轻松使用和解释来自 Debezium 之类的工具的数据库变更日志。更新的 FileSystem 连接器还扩展了 Table API/SQL 支持的用例和格式集,从而实现了直接启用从 Kafka 到 Hive 的 streaming 数据传输等方案。
- PyFlink 的多项性能优化,包括对矢量化用户定义函数(Pandas UDF)的支持。这改善了与 Pandas 和 NumPy 之类库的互操作性,使 Flink 在数据科学和 ML 工作负载方面更强大。
重要变化
- [FLINK-17339] 从 Flink 1.11 开始,Blink planner 是 Table API/SQL中的默认设置。自 Flink 1.10 起,SQL 客户端已经存在这种情况。仍支持旧的 Flink 规划器,但未积极开发。
- [FLINK-5763] Savepoints 现在将其所有状态包含在一个目录中(元数据和程序状态)。这样可以很容易地找出组成 savepoint 状态的文件,并允许用户通过简单地移动目录来重新定位 savepoint。
- [FLINK-16408] 为了减轻对 JVM metaspace 的压力,只要任务分配了至少一个插槽,
TaskExecutor
就会重用用户代码类加载器。这会稍微改变 Flink 的恢复行为,从而不会重新加载静态字段。 - [FLINK-11086] Flink 现在支持 Hadoop 3.0.0 以上的 Hadoop 版本。请注意,Flink 项目不提供任何更新的“flink-shaded-hadoop-*” jars。 用户需要通过
HADOOP_CLASSPATH
环境变量(推荐)或 lib/ folder 提供 Hadoop 依赖项。 - [FLINK-16963] Flink 随附的所有
MetricReporters
均已转换为插件。 这些不再应该放在/lib
中(可能导致依赖冲突),而应该放在/plugins/<some_directory>
中。 - [FLINK-12639] Flink 文档正在做一些返工,因此从 Flink 1.11 开始,内容的导航和组织会有所变化。
详情查看:https://flink.apache.org/news/2020/07/06/release-1.11.0.html
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
GoVCL 2.0.4 正式发布,跨平台 Go 语言 GUI 库
GoVCL是一款简单+小巧+原生的go语言GUI库,依靠着Lazarus LCL使得编写一个跨平台的GUI软件不再是一件麻烦的事。 本次更新: -- govcl -- 修改:liblcl:切换至Lazarus 2.0.10版本编译,Fixes for 2.0.10。 限制:要求liblcl二进制版本>=2.0.4 修复:修复新添加的组件未注册问题。 修改:TMovedEvent事件由3个参数变更为4个参数,添加isColumn参数。 变更:TStringGrid和TDrawGrid移除SetOnColumnMoved和SetOnRowMoved方法,并添加新的方法:SetOnColRowMoved 修改:更新liblcl事件回调。 添加:TPrinter添加SetPrinter方法。 实现:Linux:Gtk2:TMiniWebview:支持LoadHTML和ExecuteJS方法。 添加:添加新的包:pkgs/wintaskbar;添加新的例子:windows/taskbar。 修改:liblcl:Windows下使用LCL默认字体。 增加:vcl包添加新的函数:FindCon...
- 下一篇
PhpStorm 2020.1.3 发布,PHP IDE
PhpStorm 2020.1.3发布了,主要更新内容有: 修复:使用 2020.1 中的 UI 字体时,子像素(LCD)文本缓慢,切换到灰度抗锯齿功能会有所帮助 修复:缩短 DataGrid 中的选项卡名称 修复:如果一个 trait使用另一个 trait并覆盖该方法,则特质冲突为假阳性 修复:数据库 – 将数据源添加为 DDL – 仅添加文件以外的整个文件夹 修复:UI 冻结:com.intellij.openapi.module.impl.ModuleGroupersKt.splitByDotsJoiningIncorrectIdentifiers 修复:大文件被截断时,IDE 冻结/崩溃 修复:PHPStorm 冻结 – Win10 x64 更新说明:https://blog.jetbrains.com/phpstorm/2020/07/phpstorm-2020-1-3-is-released/
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7安装Docker,走上虚拟化容器引擎之路
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装