Flink Weekly | 每周社区动态更新-20200429-低调大师

Flink Weekly | 每周社区动态更新-20200429

2020-05-14 704

大家好，本文为 Flink Weekly 的第十四期，由李本超整理，伍翀 Review。本期主要内容包括：近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

Flink 开发进展

1.Release

■ Dian Fu 宣布 1.9.3 发布。

[1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Apache-Flink-1-9-3-released-td40730.html

■ Yu Li 发起了 1.10.1 RC1 的投票。

[2]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Release-1-10-1-release-candidate-1-td40724.html

■ Piotr Nowojski 和 Zhijiang 同步了一下 1.11 的开发进度。

[3]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-Development-progress-of-Apache-Flink-1-11-td40718.html

2.FLIP

■ [table api] Xuannan Su 发起了 “FLIP-36 - 在 Flink Table API 中支持交互式编程” 的讨论，Becket Qin 反馈了一些意见并进行了讨论。

[4]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-36-Support-Interactive-Programming-in-Flink-Table-API-td40592.html

■ [table api] Dawid 发起了 FLIP-124 的投票，FLIP-124 旨在增强(反)序列化接口，增加 open/close 接口、支持返回多条数据等，投票已经通过。

[5]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-124-Add-open-close-and-Collector-to-De-SerializationSchema-td40318.html

■ [table api] Aljoscha 发起了 FLIP-126 的讨论，旨在简化 watermark 生成的逻辑，减少代码重复，并且能够做到 per partition 的 idle 检测。Timo 认为这是个比较有用的 feature。

[6]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-126-Unify-and-separate-Watermark-Assigners-td40525.html

■ [runtime] Yangze Guo 宣布 FLIP-118 投票通过，FLIP-118 旨在提升 Flink 内部的 ID 的可读性。

[7]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/RESULT-VOTE-FLIP-118-Improve-Flink-s-ID-System-td40553.html

3.Discuss

■ [doc] David Anderson 发起了将 http://training.ververica.com 的一些培训材料贡献到 Flink 社区的讨论，讨论通过，并且会将这些培训材料放到 https://github.com/apache/flink-training，并且在 Jira 中新建了一个“Documentation / Training”的 component。

[8]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Integration-of-training-materials-into-Apache-Flink-td40299.html

■ [SQL] Konstantin 发起了用 DDL 支持定义 Temporal Table Function 的讨论，大家比较认可这个需求，但是对于具体支持的方式发起了讨论，暂时还没有完全确定用哪种 DDL 方式来做。

[9]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLINK-16824-Creating-Temporal-Table-Function-via-DDL-td40333.html

■ [develop] Stephan Ewen 发起了将 1.11 Feature Freeze 的时间延长半个月的讨论，大家都比较赞成，目前定于 5 月中旬为最终 Feature Freeze 的时间。

[10]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Exact-feature-freeze-date-td40624.html

■ [state] Stephan Ewen 发起了删除 state 中过时的方法的讨论，大家也都比较赞成，会在 1.11 中删除 state 中标记为过时的那些方法。

[11]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Removing-deprecated-state-methods-in-1-11-td40651.html

■ [docker] Chesnay Schepler 发起了将 docker 的开发放到每个 Flink 版本的发布的讨论，David 认为可以这样做：

[12]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Move-docker-development-into-versioned-branches-td40646.html

■ [runtime] Robert Metzger 发起了支持 Hadoop 3 以及删除 flink-shaded-hadoop 的讨论，大家比较支持这个提议，但是提出了一些潜在的问题，并进行了讨论。

[13]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Adding-support-for-Hadoop-3-and-removing-flink-shaded-hadoop-td40570.html

■ [docker] Ismaël Mejía 发起了是否可以在 Flink 正式 release 之外发布 docker 镜像的讨论，Chesnay Schepler 认为可以发布，但是每次发布都需要有一个正式的发布流程。

[14]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Intermediary-releases-of-the-flink-docker-images-td40602.html

■ [develop] Yangze Guo 发起了关于带有 max/min 的配置的名字的讨论，目前多数人倾向于使用 XXX.max/XXX.min 这种形式。

[15]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Should-max-min-be-part-of-the-hierarchy-of-config-option-td40578.html

4.Other

■ [annonce] Hequn Cheng 成为 Flink PMC 成员。恭喜军长~

[16]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNCE-New-Apache-Flink-PMC-Member-Hequn-Chen-td40374.html

邮件问题答疑

■ Matyas 提问：如何在 query 或者 view 上定义 watermark。Jark 回答了他的问题，可以使用在 1.11 中的 LIKE 语法来在已有的 Table 上添加 watermark 定义；也可以用 Table API 将 Table 转成 DataStream，然后用 assignTimestampAndWatermark 来重新定义 watermark。

[17]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/define-WATERMARKS-in-queries-views-td34610.html

■ Lasse Nedergaard 提问：升级到 1.10 之后容易出现 OOM 的问题。Xintong 和 Stephan 进行了解答，可能是因为 native memory 使用的比较多导致的。Zhhid Rahman 也帮忙回答了一下问题，贴了一下 Youtube 链接的视频，但是 Stephan 不是很建议这样子来帮助用户解决问题。

[18]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-1-10-Out-of-memory-td34406.html

■ Oleg Vysotsky 提问：为什么时候 Kafka Source 的 checkpoint size 会到55GB。Yun Tang 对问题进行了解答，最后定位是因为用户在切换 Kafka 和 Kinesis Source 的时候，用了同一个 UUID，导致 Source Operator 的 state 变大，只要是在切换 Source 的时候用不同的 UUID，就不会出现这个问题。

[19]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Checkpoints-for-kafka-source-sometimes-get-55-GB-size-instead-of-2-MB-and-flink-job-fails-during-rest-td34312.html

■ Utopia 提问：关于日志里汇报”类构造器没有默认的构造函数，所以不能用作 POJO 类型，只能用 GenericType 来处理”的信息。他用的是 Scala 的 case class。Timo 进行了解答，他应该是在 Java API 中使用了 Scala 的 case class，如果是用 Scala API 就不应该会有这个问题。

[20]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Question-about-Scala-Case-Class-and-List-in-Flink-td32139.html

■ Eyal Peer 提问：在使用 StreamingFileSink+local filesystem 的时候，在任务重启的时候无法恢复的问题。Dawid 进行了解答，认为这是一种不正确的使用方式，这个是没法做到真正的 Exactly-Once 的，因为 Flink 重启的时候任务不会保证调度到之前同样的 slot 里，所以没法恢复。需要使用分布式文件系统，例如 HDFS 等。

[21]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Fault-tolerance-in-Flink-file-Sink-td34613.html

■ Lu Niu 提问：checkpoint 写入 S3AFileSystem 文件系统的时候报错。Congxian 和 Robert 认为这个应该是文件系统本身的问题，不是 Flink 的问题。并且认为 presto s3 filesystem 是比较推荐的方式，并且建了一个 Jira 来跟踪 StreamingFileSink 支持 presto s3 filesystem。

[22]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Checkpoint-Error-Because-quot-Could-not-find-any-valid-local-directory-for-s3ablock-0001-quot-td34138.html

■ Vinay Patil 提问：如何避免两个流 Join 的时候发出重复的结果。Konstantin 认为他可以使用 Temporal Table Function 的方式来做 Join，这样可以避免重复输出的问题，但是如果用的是事件时间，并且一个流的输入很低频，会导致 watermark 前进的慢，输出有很大的延迟。用户最后选择自己用 DataStream API 自己去实现这个功能了。

[23]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Handling-stale-data-enrichment-td34617.html

■ Flavio 提问：是否有方法可以用参数来指定读取 jdbc 的时候的并行读取方式。Jingsong 对此进行了回复并进行了讨论，认为这是个合理的场景，filter 下推跟这个需求并不冲突，filter 下推只能降低从 source 读取的数据量，但是没法定制并行读取的方法。Flavio 建了三个 Jira issue 来跟踪这个问题。

[24]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/JDBC-Table-and-parameters-provider-td34544.html

■ Benchao Li 提问：是否有计划支持 batch range sort 的计划，Jingsong 进行了回答。目前还缺少比较明确的应用场景来推动这个 feature 的落地。暂时先建了 Jira issue 来跟踪这件事。

[25]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/batch-range-sort-support-td34600.html

■ liujianggang 提问：使用 UDAF 的时候遇到 checkpoint 的时候会有序列化的问题。这个问题是由于在 serializer.duplicate 中有 bug 导致的，已经在 FLINK-16242 中修复。

[26]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Blink-SQL-java-lang-ArrayIndexOutOfBoundsException-td34467.html

■ seeksst 提问：升级到 1.10 后 JSON_VALUE 函数不能注册的问题，Jark 和 Danny 进行了回答，是因为在 Calcite 中 JSON_VALUE 是直接 hard code 在 parser 中的，用户是无法注册一个同名函数来覆盖掉的，这个已经由 Danny 在 Calcite 社区去 push 解决了。

[27]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-upgrade-to-1-10-function-td34366.html

■ Gyula 提问：为什么 Kafka Join Hive 的时候为什么不能保留 Kafka 流的时间属性。Kurt 和 Timo 对此进行了回答，因为现在还没有办法在 streaming 模式下区分一个 source 是否是 bounded，而且 join 的时候可能会有 join 到一个比较老的数据的情况，所以当前不能有时间属性参与 regular join。

[28]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Joining-table-with-row-attribute-against-an-enrichment-table-td34464.html

■ dingxingxing 提问：为什么两层 group by 的时候，输出的结果会忽大忽小。Benchao Li 对此进行了回答，因为 group by 会输出 retract 结果，所以如果是两层的话，就会导致下游的 group by 会放大这个 retract 的影响，导致会短暂输出老的结果。Jark 认为可以用 mini batch 来缓解一下这个问题。

[29]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-streaming-sql-group-by-td34412.html

■ lec ssmi 提问：关于 Flink SQL 中的 retract 机制，Benchao Li 对 retract 机制进行了解答。当前官方文档中的确是缺少这块内容的介绍，已经创建了一个 Jira issue FLINK-17343 来跟踪这个事情。

[30]http://apache-flink.147419.n8.nabble.com/retract-td2672.html

■ 宇张提问：为什么找不到正确的 SourceTableFactory，Jingsong 和 tison 进行了解答，原因是现在 TableFactory 是采用 SPI 加载的，这就涉及到用户在打包的时候，是否把正确的 SPI 配置文件打包、是否处理好了多个 TableFactory 的时候的冲突问题。这个一般在打 shade 包的时候，需要特殊配置一下 shade 插件，使用起来不是特别友好。

[31]http://apache-flink.147419.n8.nabble.com/Flink1-10-Standalone-td2650.html

■ 酷酷的混蛋提问：关于 Flink SQL 中的 state 的 TTL 的处理的原理，Benchao Li 进行了解答。在之前的确是有些设置不合理，首先在 1.9.3 之前没有开启 state 的 background 清理，可能会导致有些 state 到期了仍然没有被清理，这个会在 1.9.3 以及 1.10 以后可以解决；第二个问题是之前使用的过期策略是允许读到过期但是没有清理的数据，这个行为会在 1.11 中修改成不允许读到过期的数据的策略。

[32]http://apache-flink.147419.n8.nabble.com/TTL-td2482.html

活动 / 博客文章 / 其他

■ 1.10 中内存管理的改进

[33]https://flink.apache.org/news/2020/04/21/memory-management-improvements-flink-1.10.html

■ Flink 序列化调优（一）：如何选择 Serializer

[34]https://flink.apache.org/news/2020/04/15/flink-serialization-tuning-vol-1.html

■ Stateful Functions 在有状态的无服务应用中的使用

[35]https://www.ververica.com/blog/session-preview-stateful-functions-for-stateful-serverless-applications

■ Adobe 基于Flink实现实时身份图谱

[36]https://www.ververica.com/blog/adobe-realtime-identity-graph-with-flink

■ Flink 消息聚合处理方案-微博

[37]https://ververica.cn/corporate_practice/flink-message-aggregation-processing-scheme/

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程：

发送任意邮件到 user-zh-subscribe@flink.apache.org
收到官方确认邮件
回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息，您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题，动动手测试一下！

Flink Weekly 周报计划每周更新一期，内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等，欢迎持续关注。

作者介绍：

李本超，硕士毕业于北京大学，现就职于字节跳动基础架构流式计算工程师。

微信关注我们

原文链接：https://yq.aliyun.com/articles/760520

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

SpringBoot 2.x 开发案例之整合MinIo文件服务

前言在之前的图床开发中撸主曾使用了分布式文件服务FASTDFS和阿里云的OSS对象存储来存储妹子图。奈何OSS太贵，FASTDFS搭建配置又太繁琐，今天给大家推荐一款极易上手的高性能对象存储服务MinIO 。简介 MinIO 是高性能的对象存储，兼容 Amazon S3 接口，充分考虑开发人员的需求和体验；支持分布式存储，具备高扩展性、高可用性；部署简单但功能丰富。官方的文档也很详细。它有多种不同的部署模式（单机部署，分布式部署）。为什么说 MinIO 简单易用，原因就在于它的启动、运行和配置都很简单。可以通过 docker 方式进行安装运行，也可以下载二进制文件，然后使用脚本运行。安装推荐使用 docker 一键安装： docker run -it -p 9000:9000 --name minio \ -d --restart=always \ -e "MINIO_ACCESS_KEY=admin" \ -e "MINIO_SECRET_KEY=admin123456" \ -v /mnt/minio/data:/data \ -v /mnt/minio/config:/...

2020-05-15

602

最近被问到这个问题，一时没有很好的回答，事后仔细思考了下，整理如下。 rs节点重启对于应用的影响可分为如下2个阶段： region不可用 region读取慢不可用的优化从rs停止到各个region重新上线前都处于不可用阶段，其中包含了master感知到有rs退出，进而调度执行scp的过程，详细的过程可以参考我的另外一篇文章《HBase2.0 regionServer退出处理流程》，尤其是末尾链接中的详细流程图；而不可用阶段最为耗时的部分应该是scp的执行阶段，其核心部分伪代码如下： if(carryingMeta) { split meta log; assign meta region; wait meta loaded; } split log; assign reigons; 因此减少不可用的时间主要就是简化上述过程，可用的手段有如下2个：重启rs前先执行flush，从而减少split log以及后续replay log所需的时间；重启rs前先把region move到其它节点去，这个方法需要获取region信息并且要自己指定目标节点，稍微麻烦一些，但是效果更彻底，因为...

2020-05-15

2193

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。