Apache Flink 1.12.0 发布，初步实现批处理和流处理统一运行-低调大师

Apache Flink 1.12.0 发布，初步实现批处理和流处理统一运行

2020-12-17 652

Apache Flink 最新稳定版 1.12.0 已发布。Apache Flink 是一个流处理框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

根据发布公告的介绍，新版本显着提升了可用性。此外，新增的功能简化（并统一了）整个 API 堆栈的 Flink 处理。亮点如下：

DataStream API 中的批处理执行模式 (Batch Execution Mode)

在 DataStream API 中增加对高效批处理执行的支持。这是实现批处理和流处理真正统一运行时的下一个重要里程碑。

有限流上的批处理 (Batch for Bounded Streams)

现在已支持使用 DataStream API 来处理有限流（例如文件），然而运行时并不“知道”作业已受限制。为了优化在有限输入情况下的运行时性能，新BATCH执行模式对于聚合操作全部在内存中进行，并使用改进过的调度策略（查看 Pipelined Region Scheduling）。因此，DataStream API 中BATCH模式执行已经非常接近 Flink 1.12 中 DataSet API 的性能。

新的 Data Sink API (Beta)

在以前的版本中，已经确保数据源中的连接器可以同时在两种执行模式下工作，因此在 Flink 1.12 中，社区专注于实现统一的 Data Sink API (FLIP-143)。新的抽象引入了一个 write/commit 协议和一个更加模块化的接口，接口中各个组件会透明地暴露给框架。

Sink 实现者需要定义 what 和 how：SinkWriter 用于写数据，并输出需要 commit 的内容（例如 committables）；Committer 和 GlobalCommitter 封装了如何处理 committables。框架会负责 when 和 where：即在什么时间，以及在哪些机器或进程中 commit。

Kubernetes 高可用性 (HA) 服务

实现基于 Kubernetes 的高可用性 (HA) 方案，在生产环境中可作为 ZooKeeper 的替代方案，以实现高可用性的生产设置。当然，这并不意味 ZooKeeper 会被删除，这只是为 Kubernetes 上的 Flink 用户提供另一种选择。

升级 Kafka Connector

Kafka SQL 连接器已扩展为可以在 upsert 模式下工作，并且能够处理 SQL DDL 中的 connector metadata。现在，Temporal table joins 也可以用 SQL 完全表示，而不再依赖于 Table API。

PyFlink：Python DataStream API

PyFlink 添加了对于 DataStream API 的支持，并将 PyFlink 扩展到了更复杂的场景，比如需要对状态或者定时器 timer 进行细粒度控制的场景。除此之外，现在原生支持将 PyFlink 作业部署到 Kubernetes 上。

更多内容查看发布公告。

微信关注我们

原文链接：https://www.oschina.net/news/123676/flink-1-12-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Git 2.30 首个 RC 版本发布，默认分支名

Git v2.30.0-rc0 已发布。从 2.28 版本起，Git 开始支持对默认分支名进行配置以取代一直以来的"master"用法。对于希望把默认Git 分支名字从"master"改为"main"或"default"的使用者而言，这个可配置的选项十分有意义。事实上，Git 项目自己本身的默认分支名字也一直在努力实现向"main"的过渡，Git 2.30 对其内部测试进行了一些更新以适应最终的更改。除了关于对"master"默认分支进行重命名方面的工作，新版的更新内容还包括如下亮点： PHP / Rust / CSS 的 Userdiff 更新 Git 存档现在对 .tar.gz output 文件的压缩级别允许高于 9 更新了命令行补全处理继续用 C 代码重写 git bisect 其他 bug 修复…… 详情查看发布公告。

2020-12-17

672

3.0.1版本更新详情: 支持优雅停机简化BaseConfig中全局jackson配置 jwt 配置坐标由原来 `authentication.xxx` 切换成 `lamp.authentication.xxx` 修复 LampMetaObjectHandler 在修改时注入修改人id没有判断类型的bug 优化项目依赖完善文档、优化配置文件、优化sql脚本、优化启动项目脚本代码生成器支持lamp-boot项目 lamp 项目名字由来叙事版：在一个夜黑风高的晚上，小孩吵着要出去玩，于是和程序员老婆一起带小孩出去放风，路上顺便讨论起项目要换个什么名字，在各自想出的名字都被对方一一否决后，大家陷入了沉思。走着走着，在一盏路灯下，孩砸盯着路灯打破宁静，喊出：灯灯～我和媳妇愣了一下，然后对视着一起说：哈哈，这个名字好～解释版：灯灯：是我小孩学说话时会说的第一个词，也是我在想了很多项目名后，小孩一语点破的一个名字，灯灯象征着光明，给困境的我们带来希望，给加班夜归的程序员们指引前方～灯灯(简称灯，英文名：lamp)，他是一个项目的统称，包含以下几个子项目 lamp 项目组成...

2020-12-17

505

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。