[ANNOUNCE] 每周社区更新-51(20191216-20191222)
作者:程鹤群(军长)
Apache Flink 中文邮件列表中的 Flink Weekly 周报,计划每周一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
本期的主要内容由 Hequn Cheng 整理,包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。
Flink开发
- [releases] Kostas Kloudas 建议在 feature-freeze 期间,关注下1.10新功能的文档。他创建了一个总 umbrella issue(FLINK-15273)来跟踪未完成的文档任务。 [1]
- [releases] Hequn 展开了一个启动Flink 1.9.2发布的讨论。 本周解决了一个 blocker,还剩一个blocker。 考虑到正在进行的1.10版本以及社区的资源有限,计划在圣诞节后进行1.9.2的投票。[2]
- [releases] Patrick 建议将 Flink Docker 映像发布集成到Flink发布过程中。 目前的争论点是是否要为发布 Docker 镜像的 Dockerfiles 提供专门的 git repo。[3]
- [sql] 关于在 Flink SQL 中支持 JSON 函数的讨论似乎已经达成共识。 Jark Wu 建议 Forward Xu 开始 Flip 投票。[4]
- [runtime] 在试用了新的 FLIP-49 内存配置之后,Stephan 进行了讨论并提供了一些反馈。 他提供了一些关于配置键名称和描述的改进意见。 目前收到了许多其他人的赞同。 [5]
- [connectors] Flip-27(新的 source 接口)的讨论本周有了一些更新。 本周讨论的重点是“有界和无界”的概念。 [6]
- [pyflink] Jincheng 展开了一个讨论,意在和社区一起讨论 PyFlink 接下来希望支持的功能。目前有一个人回复,期待 PyFlink 能更好地集成 Jupyter。 [7]
[1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Documentation-tasks-for-release-1-10-td36031.html
[2] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-9-2-td36087.html
[3] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Integrate-Flink-Docker-image-publication-into-Flink-release-process-td36139.html
[4] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html
[5] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html
[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-27-Refactor-Source-Interface-td24952.html
[7] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-What-parts-of-the-Python-API-should-we-focus-on-next-td36119.html
已知缺陷
- [FLINK-15262] [1.10.0] kafka connector doesn't read from beginning immediately when 'connector.startup-mode' = 'earliest-offset'. [8]
即使设置了'connector.startup-mode' = 'earliest-offset'的配置项,Kafka 的 connector 也没有从最开始的点位消费。 - [FLINK-15300] [1.10.0] Shuffle memory fraction sanity check does not account for its min/max limit. [9]
如果我们有一个设置 shuffle memory 最小/最大值的配置,但是分数超出最小/最大范围,则完整性检查(TaskExecutorResourceUtils#sanityCheckShuffleMemory)可能会失败。 - [FLINK-15304] [1.11.0] Remove unexpected Hadoop dependency from Flink's Mesos integration. [10]
目前 Hadoop 依赖存在于 Flink 的 Mesos 集成中,需要去掉。 - [FLINK-15313] [1.10.0] Can not insert decimal with precision into sink using TypeInformation. [11]
如果 Insert 到一张带有 Decimal 类型的表,并且 Decimal 类型包含精度,那么目前 Flink 会抛出异常。 - [FLINK-15320] [1.10.0] JobManager crashes in the standalone model when cancelling job which subtask' status is scheduled. [12]
Standalone 集群下,如果 cancel 一个子 task 的状态是 scheduled 的作业,JobManager 会崩溃。
[8] https://issues.apache.org/jira/browse/FLINK-15262
[9] https://issues.apache.org/jira/browse/FLINK-15300
[10] https://issues.apache.org/jira/browse/FLINK-15304
[11] https://issues.apache.org/jira/browse/FLINK-15313
[12] https://issues.apache.org/jira/browse/FLINK-15320
活动/博客文章/其他
- Philip Wilcox 发布了一个博客,介绍 Bird 公司内他们如何使用 Flink 检测离线踏板车。 该博客主要分享一些如何解决实际业务场景中一系列棘手问题的经验,涉及 Kafka,事件时间,水印和排序。 [13]
- Preetdeep Kumar 发表了一篇博文,介绍了使用 Apache Flink 处理流数据的用例和最佳实践。[14].
[13] https://www.ververica.com/blog/replayable-process-functions-time-ordering-and-timers
[14] https://dzone.com/articles/streaming-etl-with-apache-flink
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
- 发送任意邮件到 user-zh-subscribe@flink.apache.org
- 收到官方确认邮件
- 回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
linjiashop(邻家小铺)0.1 发布,简洁轻量的商城系统
linjiashop(邻家小铺)发布了0.1版本,更新内容如下: 【后台管理】 基础的管理功能:用户,权限,菜单,角色,定时任务,消息发送,日志,监控 【后台管理】 业务功能:商品类别维护,商品维护,banner维护,订单管理,购物车列表,用户列表 【H5,小程序】用户登录,商品列表,banner列表,搜索,商品详情,购物车,下单,历史订单 【APP商城】 另外发布了商城的app版本(基于Flutter):linjiashop-flutter 用户端商城演示效果: 后台管理演示效果:
- 下一篇
Flink1.9 Sate Processor API 介绍和实例demo
功能介绍 Flink1.9 新添加的功能,其能够帮助用户直接访问Flink中存储的State,API能够帮助用户非常方便地读取、修改甚至重建整个State。这个功能的强大之处在于几个方面,第一个就是灵活地读取外部的数据,比如从一个数据库中读取自主地构建Savepoint,解决作业冷启动问题,这样就不用从N天前开始重跑整个数据 可以使用的场景 异步校验或者查看某个阶段的状态,一般而言,flink作业的最终结果都会持久化输出,但在面临问题的时候,如何确定哪一级出现问题,state processor api也提供了一种可能,去检验state中的数据是否与预期的一致。 脏数据订正,比如有一条脏数据污染了State,就可以用State Processor API对于状态进行修复和订正。 状态迁移,当用户修改了作业逻辑,还想要复用原来作业中大部分的State,或者想要升级这个State的结构就可以用这个API来完成相应的工作。 解决作业冷启动问题,这样就不用从N天前开始重跑整个数据。 一些限制点 window state暂时修改不了 每个有状态的算子都必须手动指定uid 无法通过读取savepo...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS6,CentOS7官方镜像安装Oracle11G
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- 设置Eclipse缩进为4个空格,增强代码规范
- Mario游戏-低调大师作品
- MySQL8.0.19开启GTID主从同步CentOS8