Flink Weekly | 每周社区动态更新 - 20200318
大家好,本文为 Flink Weekly 的第九期,由沈磊(LakeShen)整理,主要内容包括:近期社区开发进展,邮件问题答疑以及 Flink 最新社区动态及本周社区直播内容、技术文章推荐。
Flink 开发进展
■ [Table API & SQL] Jingsong Li 发起 FLIP-115 的讨论,主要在 Flink Table 支持 FileSystem Connector,FLIP-115 主要内容包括:
在 Flink Table 中支持 FileSystem Table Factory,同时支持csv/parquet/orc/json/avro 格式。
支持在流应用或者 Flink On Hive 中数据输出。
更多信息请参考:
[1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-115%3A+Filesystem+connector+in+Table
[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/DISCUSS-FLIP-115-Filesystem-connector-in-Table-td33625.html
■ [RunTime / Configuration] Andrey 发起 FLIP-116 统一的 JobManager 的内存配置的讨论,在 FLIP-49中,我们针对 TaskManager 进行统一的内存管理和配置,在 Flink 1.10 版本中 release 该功能。为了让 JobManager 的内存模型和配置保持对齐,同时针对用户代码 native non-direct memory 的使用,在FLIP-116 中都进行了详细说明。更多信息请参考:
[3] https://cwiki.apache.org/confluence/display/FLINK/FLIP-49%3A+Unified+Memory+Configuration+for+TaskExecutors
[4] https://cwiki.apache.org/confluence/display/FLINK/FLIP+116%3A+Unified+Memory+Configuration+for+Job+Managers
[5] https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_detail.html#overview
■ [Connectors / HBase] Flavio 发起了 FLIP-117 HBase Catalog的讨论,该 FLIP 主要讨论 HBaseCatalog 的实现。更多信息参考:
[6] https://cwiki.apache.org/confluence/display/FLINK/FLIP-117%3A+HBase+catalog
[7] https://issues.apache.org/jira/browse/FLINK-16575
■ Yu Li 发起了 Releasing Flink 1.10.1 的相关讨论。
■ 为了让大家了解到 Flink 1.11 的相关特性,Zhijiang 发起了 Flink 1.11 特性的讨论,大家有什么想法或者期待可以在下面邮件中进行相关回复。
邮件问题答疑
■ shravan 社区提问:当 k8s 集群突然 down 掉时,如何优雅的通过 stop with savepoint 停止作业,Vijay 进行了解答。
■ Alexander 使用 Flink 1.10 ,对于 Mesos 容器内存配置方面遇到一些问题,Yangze Guo进行了详细解答。
■ wanglei2 询问了在 Flink SQL 任务中,如何设置状态后端,以及在 SQL Client 中,维表 Join 任务没有运行问题。Jingsong Li 和 Zhenghua Gao 分别进行了详细的回答。
■ Yuval 提问了关于 Flink 如何从增量的 Checkpoint 状态回复的一些问题,Andrey 进行了详细的解答。
■ Eyal 遇到了一些 Flink On Yarn 方面的日志打印配置问题,社区同学进行了解答。
■ Flavio 在社区提问了关于 Alink 和 Flink ML 的问题,感兴趣的可以看一下。
[16] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Alink-and-Flink-ML-td33332.html
■ LakeShen 询问了关于从 Checkppoint 状态文件恢复,是否能够改变算子的并发的问题。对于 Checkpoint 的状态文件,当任务从其开始恢复时,可以调整算法的并发度,只要不要修改算子最大的并发度就行。
■ karl 在社区提问了关于 Flink Session 窗口的状态 TTL 问题。
活动 / 博客文章 / 其他
■ Flink 如何支持特征工程、在线学习、在线预测等 AI 场景?
■ 一行配置作业性能提升53%!Flink SQL 性能之旅
■ 有赞实时任务优化:Flink Checkpoint 异常解析与应用实践
■ Flink 中文社区进行了【1.10 特别篇】系列直播:《PyFlink 架构、应用案例及未来规划》,由 Apache Flink PMC,阿里巴巴高级技术专家孙金城分享。
- 公众号后台回复关键字「PyFlink」可获取嘉宾分享 PPT。
- 直播回顾:https://ververica.cn/developers/flink-training-course3/
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
- 发送任意邮件到 user-zh-subscribe@flink.apache.org
- 收到官方确认邮件
- 回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
Tips:
Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
作者介绍:
沈磊(LakeShen),目前在有赞负责实时平台、以及 Flink 相关开发和维护工作。积极参与 Flink 开源社区,喜欢和大家分享 Flink 技术,个人也写了很多 Flink 相关技术文章,帮助大家一起学习 Flink。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
如何在 Flink 中规划 RocksDB 内存容量?
作者:Stefan Richter翻译:毛家琦校对:胡争 本文描述了一些配置选项,这些选项将帮助您有效地管理规划 Apache Flink 中 RocksDB state backend 的内存大小。在前面的文章[1]中,我们描述了 Flink 中支持的可选 state backend 选项,本文将介绍跟 Flink 相关的一些 RocksDB 操作,并讨论一些提高资源利用率的重要配置。 Tips:从 Flink 1.10 开始,Flink 自动管理 RocksDB 的内存,详细介绍如下: https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/state/state_backends.html#memory-management RocksDB 的状态后端 在深入了解配置参数之前,先回顾一下在 Apache Flink 中如何使用 RocksDB 来进行状态管理。当选择 RocksDB 作为状态后端时,状态将作为序列化字节串存在于堆外内存(off-heap) 存储或本地磁盘中。 RocksDB 是一个以日志合并...
- 下一篇
阿里达摩院新研究:实习生一作突破自动驾驶技术难题,首次实现3D物体检测精度与速度兼得
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 最新消息,阿里达摩院又有新的研究进展,这次在自动驾驶3D物体检测领域。 达摩院的研究人员提出一个通用、高性能的检测器,在自动驾驶领域权威数据集KITTI BEV(鸟瞰)上,检测速度达到25FPS ,一举占据榜首,与排名第二的方案相比,减少了一半多,同时精度也远超其他的单阶段检测器。可以说首次实现3D物体检测精度与速度兼得。 达摩院研究团队表示:“检测器是自动驾驶系统的核心组件之一,但该领域一直缺少创新和突破,此次我们实现3D检测精度和速度的提升,将有助于提高自动驾驶系统的安全性。” 从实验结果来看,他们显然取得了良好进展,而且研究的主要完成人员(一作),还是达摩院的实习生。 同时,该研究也得到了同行们的认可,被计算机视觉领域顶级会议CVPR 2020收录。他们是如何做到的呢?我们借助阿里达摩院提供的解读,一一来看。 如何实现精度和速度兼得? 众所周知,与普通2D图像识别应用不同,自动驾驶系统对精度和速度的要求更高,不仅需要快速识别周围环境的物体,还要对物体在三维空间中的位置做精准定位。 ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Mario游戏-低调大师作品
- CentOS关闭SELinux安全模块
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS6,CentOS7官方镜像安装Oracle11G