Flink Weekly | 每周社区动态更新 - 20200114
大家好,本文为 Flink Weekly 的第四期,由 Forward Xu 整理,主要内容包括:Flink 1.10 版本的发布测试,SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。
Flink 开发进展
[Release] 社区仍在测试和修复 Flink 1.10 的错误。您可以在发布燃尽板上进行操作。估计第一个 RC 版本很快就来了 。
https://issues.apache.org/jira/secure/RapidBoard.jspa?rapidView=349&projectKey=FLINK
[SQL] Bowen 建议在 Table API 中添加 JDBC 和 Postgres Catalog API。这样,Flink 可以自动创建关系数据库中对应的表。目前,用户需要手动在 Flink 上创建相应的表(包括 schema)。
https://cwiki.apache.org/confluence/display/FLINK/FLIP-92%3A+JDBC+catalog+and+Postgres+catalog
[configuration] Xintong 建议更改 Flink 内存配置的一些默认值(FLIP-49),并正在寻求反馈 。
[datastream api] Congxian 建议统一从 statebackends 向 AppendingState 添加“空(null)” 值的处理。建议的原因是使所有 statebackends 拒绝“空(null)”值。
需要注意的一些缺陷
由于在发布测试,因此有很多活动,但是对于已经发布的版本,没有发现任何新的显著错误。
活动 / 博客文章 / 其他
Flink Forward 旧金山的演讲邀请即将结束,但是您仍然有机会将演讲提交给该演讲者(可能只有)北美的 Apache Flink 社区会议。如有疑问或如果您不确定是否要提交参与,请随时与 Konstantin 联系。
https://www.flink-forward.org/sf-2020
[即将举行的聚会] 1月18日,Preetdeep Kumar 将分享一些基本的 Flink DataStream processing API,然后进行动手演示。这将是在线活动。在会议链接中可以查看更多详细信息。
https://www.meetup.com/Hyderabad-Apache-Flink-Meetup-Group/events/267610014/
1月22日 Konstantin 的同事 Alexander Fedulov 将在马德里的 Apache Flink 聚会上使 Flink 进行欺诈检测。
https://www.meetup.com/Meetup-de-Apache-Flink-en-Madrid/events/267744681/
中文邮件问题答疑汇总
- Flink 的 savepoint 为什么要设置成手动的?的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-savepoint-checkpoint-td1229.html
- Flink 消费 Kafka 没有数据问题的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-Kafka-td1461.html
- 关于 Flink 集群中调用 dubbo 服务的咨询:
http://apache-flink.147419.n8.nabble.com/flink-dubbo-td1467.html
- 关于 Flink Plan Visualizer 什么时候会更新成1.9的样式的问题,tison 已经抄送给 Flink WebUI 重构的 Manager:
http://apache-flink.147419.n8.nabble.com/Flink-Plan-Visualizer-1-9-td1404.html#a1429
- Flink 的每条数据既然都做了 checkpoint,做成全局分布式一致性快照,那还需要本地 state干啥呢?的问题解答:
http://apache-flink.147419.n8.nabble.com/checkpoint-state-td1122.html
- 关于 Flink 遇到 valueState 自身的 NPE 的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-valueState-NPE-td1447.html#a1459
- 关于流处理任务失败该如何追回之前的数据的问题解答:
http://apache-flink.147419.n8.nabble.com/-td1016.html
- 关于 Flink 是否可以通过代码设置 hadoop 的配置文件目录的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-hadoop-td1445.html
- 关于 Flink 算子状态查看的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-td1441.html
- 关于疑似 ParquetTableSource Filter Pushdown bug 的问题解答:
http://apache-flink.147419.n8.nabble.com/Re-ParquetTableSource-Filter-Pushdown-bug-tt1439.html
- 关于 Flink 1.10 版本连接 hive 报错的问题解答:
http://apache-flink.147419.n8.nabble.com/flink1-10-hive-tt336.html
- 关于 Flink 不同 StateBackend ProcessWindowFunction 的差别的问题解答:
http://apache-flink.147419.n8.nabble.com/FLINK-StateBackend-ProcessWindowFunction-tt1418.html#a1419
- 关于 Jobgraph 生成的问题解答:
http://apache-flink.147419.n8.nabble.com/Re-jobgraph-tt1426.html
- 关于注册 table 时 catalog 无法变更的问题解答:
http://apache-flink.147419.n8.nabble.com/table-catalog-tt1417.html#a1425
- 关于 Flink sql confluent schema avro topic 注册成表的问题解答:
http://apache-flink.147419.n8.nabble.com/flink-sql-confluent-schema-avro-topic-tt1264.html
- 使用 Flink SQL 时,碰到的【Window can only be defined over a time attribute column】的问题解答:
- 关于如何获取算子处理一条数据记录的时间的问题解答:
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
小米流式平台架构演进与实践
作者:夏军@小米 小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。 伴随着小米业务的发展,流式平台也经历三次大升级改造,满足了众多业务的各种需求。最新的一次迭代基于 Apache Flink,对于流式平台内部模块进行了彻底的重构,同时小米各业务也在由 Spark Streaming 逐步切换到 Flink。 背景介绍 小米流式平台的愿景是为小米所有的业务线提供流式数据的一体化、平台化解决方案。具体来讲包括以下三个方面: 流式数据存储:流式数据存储指的是消息队列,小米开发了一套自己的消息队列,其类似于 Apache kafka,但它有自己的特点,小米流式平台提供消息队列的存储功能; 流式数据接入和转储:有了消息队列来做流式数据的缓存区之后,继而需要提供流式数据接入和转储的功能; 流式数据处理:指的是平台基于 Flink、Spark Streaming 和 Storm 等计算引擎对流式数...
- 下一篇
零基础 SQL 数据库小白,从入门到精通的学习路线与书单
云栖号:https://yqh.aliyun.com 第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! AI 前线导读: 近期,我们邀请了阿里巴巴技术副总裁、阿里巴巴计算平台事业部总经理、AICon 全球人工智能与机器学习技术大会 深度合作伙伴贾扬清光临 InfoQ 直播间,和近 7000 名用户分享了作为一名 AI 架构师的自我修养的话题,一个小时的直播干货满满。以下是贾扬清直播当天全部演讲内容。(观看完整版视频,请在文末自取地址) 大家好,我叫贾扬清,现在担任阿里巴巴技术副总裁,负责人工智能平台跟大数据平台的建设,之前在 Facebook 和 Google 任职期间,负责人工智能相关的事务,大家都知道近两年人工智能非常火爆,A 技术、人才的需求量和不菲的薪资,使得很多程序员都想进入这个行业。如何才能成为一名优秀的 AI 架构师呢?相信大家心中都会有所疑惑。 一、人工智能行业突然爆火,同时对架构师的需求量也突然变大了,这是为什么? 我觉得这是一个挺有意思的情况,人工智能这个领域 20 年前甚至更早时候就已经存在了,但一直处于不温不火...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- Hadoop3单机部署,实现最简伪集群
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合Redis,开启缓存,提高访问速度