首页 文章 精选 留言 我的

Flink Weekly | 每周社区动态更新 - 20200114

2020-01-15 650

大家好，本文为 Flink Weekly 的第四期，由 Forward Xu 整理，主要内容包括：Flink 1.10 版本的发布测试，SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

Flink 开发进展

[Release] 社区仍在测试和修复 Flink 1.10 的错误。您可以在发布燃尽板上进行操作。估计第一个 RC 版本很快就来了 。

https://issues.apache.org/jira/secure/RapidBoard.jspa?rapidView=349&projectKey=FLINK

[SQL] Bowen 建议在 Table API 中添加 JDBC 和 Postgres Catalog API。这样，Flink 可以自动创建关系数据库中对应的表。目前，用户需要手动在 Flink 上创建相应的表（包括 schema）。

https://cwiki.apache.org/confluence/display/FLINK/FLIP-92%3A+JDBC+catalog+and+Postgres+catalog

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-92-JDBC-catalog-and-Postgres-catalog-tp36505.html

[configuration] Xintong 建议更改 Flink 内存配置的一些默认值（FLIP-49），并正在寻求反馈 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Discuss-Tuning-FLIP-49-configuration-default-values-td36528.html

[datastream api] Congxian 建议统一从 statebackends 向 AppendingState 添加“空(null)” 值的处理。建议的原因是使所有 statebackends 拒绝“空(null)”值。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Make-AppendingState-add-refuse-to-add-null-element-tp36493.html

需要注意的一些缺陷

由于在发布测试，因此有很多活动，但是对于已经发布的版本，没有发现任何新的显著错误。

活动 / 博客文章 / 其他

Flink Forward 旧金山的演讲邀请即将结束，但是您仍然有机会将演讲提交给该演讲者（可能只有）北美的 Apache Flink 社区会议。如有疑问或如果您不确定是否要提交参与，请随时与 Konstantin 联系。

https://www.flink-forward.org/sf-2020

[即将举行的聚会] 1月18日，Preetdeep Kumar 将分享一些基本的 Flink DataStream processing API，然后进行动手演示。这将是在线活动。在会议链接中可以查看更多详细信息。

https://www.meetup.com/Hyderabad-Apache-Flink-Meetup-Group/events/267610014/

1月22日 Konstantin 的同事 Alexander Fedulov 将在马德里的 Apache Flink 聚会上使 Flink 进行欺诈检测。

https://www.meetup.com/Meetup-de-Apache-Flink-en-Madrid/events/267744681/

中文邮件问题答疑汇总

  • Flink 的 savepoint 为什么要设置成手动的？的问题解答：

http://apache-flink.147419.n8.nabble.com/flink-savepoint-checkpoint-td1229.html

  • Flink 消费 Kafka 没有数据问题的问题解答：

http://apache-flink.147419.n8.nabble.com/flink-Kafka-td1461.html

  • 关于 Flink 集群中调用 dubbo 服务的咨询：

http://apache-flink.147419.n8.nabble.com/flink-dubbo-td1467.html

  • 关于 Flink Plan Visualizer 什么时候会更新成1.9的样式的问题，tison 已经抄送给 Flink WebUI 重构的 Manager：

http://apache-flink.147419.n8.nabble.com/Flink-Plan-Visualizer-1-9-td1404.html#a1429

  • Flink 的每条数据既然都做了 checkpoint，做成全局分布式一致性快照，那还需要本地 state干啥呢？的问题解答：

http://apache-flink.147419.n8.nabble.com/checkpoint-state-td1122.html

  • 关于 Flink 遇到 valueState 自身的 NPE 的问题解答：

http://apache-flink.147419.n8.nabble.com/flink-valueState-NPE-td1447.html#a1459

  • 关于流处理任务失败该如何追回之前的数据的问题解答：

http://apache-flink.147419.n8.nabble.com/-td1016.html

  • 关于 Flink 是否可以通过代码设置 hadoop 的配置文件目录的问题解答：

http://apache-flink.147419.n8.nabble.com/flink-hadoop-td1445.html

  • 关于 Flink 算子状态查看的问题解答：

http://apache-flink.147419.n8.nabble.com/flink-td1441.html

  • 关于疑似 ParquetTableSource Filter Pushdown bug 的问题解答：

http://apache-flink.147419.n8.nabble.com/Re-ParquetTableSource-Filter-Pushdown-bug-tt1439.html

  • 关于 Flink 1.10 版本连接 hive 报错的问题解答：

http://apache-flink.147419.n8.nabble.com/flink1-10-hive-tt336.html

  • 关于 Flink 不同 StateBackend ProcessWindowFunction 的差别的问题解答：

http://apache-flink.147419.n8.nabble.com/FLINK-StateBackend-ProcessWindowFunction-tt1418.html#a1419

  • 关于 Jobgraph 生成的问题解答：

http://apache-flink.147419.n8.nabble.com/Re-jobgraph-tt1426.html

  • 关于注册 table 时 catalog 无法变更的问题解答：

http://apache-flink.147419.n8.nabble.com/table-catalog-tt1417.html#a1425

  • 关于 Flink sql confluent schema avro topic 注册成表的问题解答：

http://apache-flink.147419.n8.nabble.com/flink-sql-confluent-schema-avro-topic-tt1264.html

  • 使用 Flink SQL 时，碰到的【Window can only be defined over a time attribute column】的问题解答：

http://apache-flink.147419.n8.nabble.com/Flink-SQL-Window-can-only-be-defined-over-a-time-attribute-column-tt1407.html

  • 关于如何获取算子处理一条数据记录的时间的问题解答：

http://apache-flink.147419.n8.nabble.com/-tt1357.html#a1412

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/742778

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

小米流式平台架构演进与实践

作者：夏军@小米 小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。 伴随着小米业务的发展，流式平台也经历三次大升级改造，满足了众多业务的各种需求。最新的一次迭代基于 Apache Flink，对于流式平台内部模块进行了彻底的重构，同时小米各业务也在由 Spark Streaming 逐步切换到 Flink。 背景介绍 小米流式平台的愿景是为小米所有的业务线提供流式数据的一体化、平台化解决方案。具体来讲包括以下三个方面： 流式数据存储：流式数据存储指的是消息队列，小米开发了一套自己的消息队列，其类似于 Apache kafka，但它有自己的特点，小米流式平台提供消息队列的存储功能； 流式数据接入和转储：有了消息队列来做流式数据的缓存区之后，继而需要提供流式数据接入和转储的功能； 流式数据处理：指的是平台基于 Flink、Spark Streaming 和 Storm 等计算引擎对流式数...
2020-01-16
626
上一篇

零基础 SQL 数据库小白，从入门到精通的学习路线与书单

云栖号：https://yqh.aliyun.com 第一手的上云资讯，不同行业精选的上云企业案例库，基于众多成功案例萃取而成的最佳实践，助力您上云决策！ AI 前线导读： 近期，我们邀请了阿里巴巴技术副总裁、阿里巴巴计算平台事业部总经理、AICon 全球人工智能与机器学习技术大会 深度合作伙伴贾扬清光临 InfoQ 直播间，和近 7000 名用户分享了作为一名 AI 架构师的自我修养的话题，一个小时的直播干货满满。以下是贾扬清直播当天全部演讲内容。（观看完整版视频，请在文末自取地址） 大家好，我叫贾扬清，现在担任阿里巴巴技术副总裁，负责人工智能平台跟大数据平台的建设，之前在 Facebook 和 Google 任职期间，负责人工智能相关的事务，大家都知道近两年人工智能非常火爆，A 技术、人才的需求量和不菲的薪资，使得很多程序员都想进入这个行业。如何才能成为一名优秀的 AI 架构师呢？相信大家心中都会有所疑惑。 一、人工智能行业突然爆火，同时对架构师的需求量也突然变大了，这是为什么？ 我觉得这是一个挺有意思的情况，人工智能这个领域 20 年前甚至更早时候就已经存在了，但一直处于不温不火...
2020-01-16
653
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
Redis Docker Gemini3 SpringCloud DeepSeek HarmonyOS6 Service Mesh SpringBoot4 Rocky Nacos3 Kubernetes Jdk25 OpenAi

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册