Flink Weekly | 每周社区动态更新-20200520-低调大师

Flink Weekly | 每周社区动态更新-20200520

2020-05-26 699

大家好，本文为 Flink Weekly 的第十六期，由王雷整理，张成 Review。本期主要内容包括：近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

Flink 开发进展

1.Release

■ Piotr Nowojski 宣布 release-1.11 分支冻结。

[1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNECE-release-1-11-branch-cut-td41668.html

■ 1.10.1 已成功发版，发版日志见下链接。

[2]https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522&version=12346891

■ 1.10.1 发版后，Seth Wiesman 发现 FLINK-16684 修改了 StreamingFileSink (@PublicEvolving) 的 API，导致 1.10.0 和 1.10.1 之间存在二进制不兼容问题。

[3]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Discuss-Breaking-API-Change-in-1-10-1-td41377.html

2.Dev

■ 当用户使用 per-job 模式提交任务时，当前的 History Server 无法聚合的显示这些任务。Gyula 对 History Server 进行了修改，实现了一个可以聚合不同集群任务的看板。

[4]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Rework-History-Server-into-Global-Dashboard-td41393.html

3.FLIP

■ [Runtime] Aljoscha Krettek 宣布 FLIP-126 投票通过，FLIP-126 旨在对 Watermark Assigners 进行重构。

[5]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-126-FLIP-126-Unify-and-separate-Watermark-Assigners-td41349.html

4.Discuss

■ [Config] Stephan Ewen 发起了将 state.backend.fs.memory-threshold 的默认值从 1K 提升到 100K 的讨论，目的是减少小文件。大家对该改动可能导致 state 变大，从而导致 OOM 的问题进行了讨论。

[6]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-increase-quot-state-backend-fs-memory-threshold-quot-from-1K-to-100K-td41475.html

■ [Develop] 关于 @PublicEvolving 注解的 class 需要在相同的 minor 版本修复 bug 时提供 API 和二进制兼容的投票正在进行。

[7]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Guarantee-that-PublicEvolving-classes-are-API-and-binary-compatible-across-bug-fix-releases-x-y-td41543.html

■ [Doc] 关于构建一个 Flink 学习资料平台的讨论正在进行，详情见邮件。

[8]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Add-a-material-web-page-under-quot-https-flink-apache-org-quot-td41298.html

■ [Doc] 当前的发布流程会出现 dist.apache.org 中的下载链接不稳定的问题，Chesnay Schepler 修改了发布指南，只有在完成发布后，才可以从 dist.apache.org 中移除老版本。

[9]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/NOTICE-Deletion-of-older-releases-from-dist-apache-org-td41422.html

5.other

■ [Security] Chesnay Schepler 发布了 CVE-2020-1960 安全漏洞。攻击者可借助特制请求利用该漏洞进行中间人攻击，入侵通过JMX与进程建立的连接，获取传递的数据。以下版本受到影响：1.1.0 to 1.1.5，1.2.0 to 1.2.1，1.3.0 to 1.3.3，1.4.0 to 1.4.2，1.5.0 to 1.5.6，1.6.0 to 1.6.4，1.7.0 to 1.7.2，1.8.0 to 1.8.3，1.9.0 to 1.9.2，1.10.0。修复方案见邮件。

[10]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/CVE-2020-1960-Apache-Flink-JMX-information-disclosure-vulnerability-td41437.html

■ [CI] 当前对于 PR 端到端的测试任务使用的资源达到了 Flink 的 Azure Pipelines 账号的上限，Robert Metzger 不得不手动取消掉一些端到端的测试。Robert Metzger 正在积极寻找解决办法。

[11]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/NOTICE-Azure-Pipelines-Status-td41455.html

邮件问题答疑

■ [Debug] 李佳宸遇到了在集群关闭时，Pushgateway 仍然存有metrics数据的问题，杨纲给予了解答，当通过 yarn kill 的方式停掉任务时，Pushgateway 内存中缓存的指标不会被清理。

[12]http://apache-flink.147419.n8.nabble.com/Prometheus-Pushgateway-Flink-td3041.html

■ [Runtime] 1101300123遇到了 AppendOnlyTopNFunction 报数组越界的问题，云邪确认是一个 bug，创建了issue FLINK-17625。

[13]http://apache-flink.147419.n8.nabble.com/1-10-flinkSQL-row-number-top1-td3056.html

■ [Debug] Jeff 希望能够监控 task 级别的内存使用情况，由于运行在同一个 JVM，进程中的不同线程的内存开销分析代价会比较高，不适合实时计算场景，所以不支持 task 级别的内存监控。

[14]http://apache-flink.147419.n8.nabble.com/task-td3075.html

■ [Stateful Function] Annemarie Burger 希望能在 Stateful Function 中使用窗口功能。Igal Shilman 告知当前 Stateful Function 不支持窗口功能，同时提供了 DelayedMessage 的变通方法。

[15]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Window-processing-in-Stateful-Functions-td34966.html

■ [Debug] Jacky Du 在 AWS EMR Debug 使用 JITWatch 报错，Xintong Song 指出，当在 flink-conf.yaml 配置 JITWatch 参数时不能使用引号。

[16]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Memory-analyze-on-AWS-EMR-td35036.html

■ [Runtime] Ken Krugler 希望自定义重启策略，Zhu Zhu 告知自 1.10 版本开始，RestartStrategy 被 RestartBackoffTimeStrategy 替代，RestartBackoffTimeStrategy 暂不支持自定义重启策略。

[17]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-restart-strategy-on-specific-exception-td24665.html

活动 / 博客文章 / 其他

■ Flink Forward Global 2020 暂定于10月19日 - 21日在线上举行，目前正在征集议题。

[18]https://www.flink-forward.org/global-2020/call-for-presentations

■ Apache Flink 杭州站线上 Meetup 圆满结束，直播回放如下：

[19]https://developer.aliyun.com/live/2772

■ Flink 1.10 细粒度资源管理解析

[20]https://mp.weixin.qq.com/s/NZXtKlRNnWdWDNtU7cml2Q

■ Flink 与 Hive 的磨合期

[21]https://mp.weixin.qq.com/s/TH3TXKebXJ0nAKUh8wfxUw

■ 如何用一套引擎搞定机器学习全流程？

[22]https://mp.weixin.qq.com/s/c5bZy_v15FtT1oJGW0UAWQ

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程：

发送任意邮件到 user-zh-subscribe@flink.apache.org
收到官方确认邮件
回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息，您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题，动动手测试一下！

Flink Weekly 周报计划每周更新一期，内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等，欢迎持续关注。

Tips：点击「阅读原文」查看本期 weekly 详情，扩展阅读链接可直接跳转～

作者介绍：

王雷，小红书技术部基础平台开发工程师，目前主要在做基于 Flink 的实时计算平台开发。

微信关注我们

原文链接：https://yq.aliyun.com/articles/762649

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ES[7.6.x]学习笔记（十一）与SpringBoot结合

在前面的章节中，我们把ES的基本功能都给大家介绍完了，从ES的搭建、创建索引、分词器、到数据的查询，大家发现，我们都是通过ES的API去进行调用，那么，我们在项目当中怎么去使用ES呢？这一节，我们就看看ES如何与我们的SpringBoot项目结合。版本依赖 SpringBoot默认是有ElasticSearch的Starter，但是它依赖的ES客户端的版本比较低，跟不上ES的更新速度，所以我们在SpringBoot项目中要指定ES的最新版本，如下： <properties> <elasticsearch.version>7.6.1</elasticsearch.version> </properties> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> </dependency>...

2020-05-27

600

作者 | 滕昱 DellEMC 研发总监整理 | 赵海凯 DellEMC 实习生本文将从大数据架构变迁历史，Pravega 简介，Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega，重点介绍 DellEMC 为何要研发 Pravega，Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。大数据架构变迁 Lambda 架构之痛如何有效地提取和提供数据，是大数据处理应用架构是否成功的关键之处。由于处理速度和频率的不同，数据的摄取需要通过两种策略来进行。上图就是典型的 Lambda架构：把大数据处理架构分为批处理和实时流处理两套独立的计算基础架构。对于实时处理来说，来自传感器，移动设备或者应用日志的数据通常写入消息队列系统（如 Kafka), 消息队列负责为流处理应用提供数据的临时缓冲。然后再使用 Spark Streaming 从 Kafka 中读取数据做实时的流计算。但由于 Kafka 不会一直保存历史数据，因此如果用户的商业逻辑是结合历史数据和实时数据同时做分析，那么这条流水线实际上是没有办法完成的。因此为了补偿，需要...

2020-05-27

568

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。