Flink Weekly | 每周社区动态更新 - 2019/12/31
大家好,本文为 Flink Weekly 的第二期,由 zhisheng 整理,主要内容包括:讨论在 Flink SQL 中支持 JSON functions,新增 Flink 国内社区的活动和相关博客,以及汇总中文邮件中大家遇到的问题。
Flink 开发
- [SQL] Forward Xu 发起了一个讨论,要在 Flink SQL 中支持 JSON functions,最后将讨论的结果和想法记录在了 FLIP-90 。
- [SQL] Jark Wu 发起一个讨论,建议在 1.10 release 之前将 Table API 和 SQL 中的 Time-windowed Join 改为 Interval Join。
- [core]Stephan Ewen 之前发起的一个讨论,关于新的 Task Manager 内存配置 FLIP-49。
已知缺陷
- [FLINK-15421] [1.9.1, 1.10.0] GroupAggsHandler throws java.time.LocalDateTime cannot be cast to java.sql.Timestamp。
https://issues.apache.org/jira/browse/FLINK-15421
- [FLINK-15420] [1.10.0] Cast string to timestamp will loose precision。
https://issues.apache.org/jira/browse/FLINK-15420
- [FLINK-15418] [1.9.1, 1.10.0] StreamExecMatchRule not set FlinkRelDistribution。
https://issues.apache.org/jira/browse/FLINK-15418
- [FLINK-15411][1.10.0] Planner can't prune partition on DATE/TIMESTAMP columns。
https://issues.apache.org/jira/browse/FLINK-15411
- [FLINK-15406] [1.9.1] The savepoint is writted by "State Processor API" can't be restore by map or flatmap。
https://issues.apache.org/jira/browse/FLINK-15406
- [FLINK-15381] [1.10.0] INSERT INTO VALUES statement fails if a cast project is applied。
https://issues.apache.org/jira/browse/FLINK-15381
- [FLINK-15370] [1.10.0, 1.11.0] Configured write buffer manager actually not take effect in RocksDB's DBOptions 在 DBOptions 中设置 WriteBufferManager 的值不起作用。
https://issues.apache.org/jira/browse/FLINK-15370
- [FLINK-15361] [1.9.1] ParquetTableSource should pass predicate in projectFields。
https://issues.apache.org/jira/browse/FLINK-15361
活动 / 博客文章 / 其他
- 社区钉钉群群直播——《基于 Apache Flink 的监控告警系统》,PPT 下载 & 直播视频回放地址:
https://ververica.cn/developers/flink-training-course3/
中文邮件问题/答疑汇总
- StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema。
- 在 1.8 版本使用 yarn session 模式时是 1 个 Task Manager 一个 CPU,当切换到 1.9.1 时使用同样的启动命令发现一个 slot 使用一个 CPU。
http://apache-flink.147419.n8.nabble.com/slot-td1345.html
- Flink 1.9 批任务 yn 和 ys 对任务的影响。
http://apache-flink.147419.n8.nabble.com/Flink1-9-yn-ys-tp1313.html
- Flink SQL 1.9.0 如何创建 elasticsearch 动态索引表。
http://apache-flink.147419.n8.nabble.com/flink-sql-1-9-0-elasticsearch-tp1342.html
- source 并行度不同导致任务没有数据落地。
http://apache-flink.147419.n8.nabble.com/source-tp1336.html
- Flink 1.9 SQL Kafka Connector,Json format,how to deal with not json message。
- Flink 实现 Kafka 到 MySQL 的 End-To-End Exactly-Once 中遇到的问题。
http://apache-flink.147419.n8.nabble.com/Flink-Kafka-Mysql-End-To-End-Exactly-Once-tp1321.html
- Rewind offset to a previous position and ensure certainty。
- 关于 Flink historyserver 没有 completed-jobs 的问题。
http://apache-flink.147419.n8.nabble.com/FLink-historyserver-completed-jobs-tp1320.html
- Flink 维表关联,当维表更新后,如何将之前关联的数据进行更新。
http://apache-flink.147419.n8.nabble.com/flink-tp1322.html
- The assigned slot was removed 分配好的 slot 突然就被 remove 了,导致作业重启。
- Flink Checkpoint 配置 HDFS 问题,如何配置高可用。
http://apache-flink.147419.n8.nabble.com/flink-checkpoint-hdfs-tp1318.html
- 实现一个两阶段提交的 ETL,数据从 Kafka 到 MySQL,遇到的异常问题。
http://apache-flink.147419.n8.nabble.com/ETL-kafka-mysql-tp1317.html
- using thin jar to replace fat jar on yarn cluster mode。
- 关于 Window Process Function 数据丢失问题。
http://apache-flink.147419.n8.nabble.com/Window-ProcessFunction-tp1311.html
- 关于 Flink 窗口是否正确关闭的问题。
http://apache-flink.147419.n8.nabble.com/flink-tp1305.html
- CEP 匹配乱序数据的问题。
http://apache-flink.147419.n8.nabble.com/CEP-tp1301.html
2 分钟快速订阅 Flink 中文邮件列表
Apache Flink 中文邮件列表订阅流程:
发送任意邮件到 user-zh-subscribe@flink.apache.org
收到官方确认邮件
回复该邮件 confirm 即可订阅
订阅成功后将收到 Flink 官方的中文邮件列表的消息,您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题,动动手测试一下!
Tips:
Flink Weekly 周报计划每周更新一期,内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等,欢迎持续关注~
作者介绍:
zhisheng,《Flink 实战与性能优化》专栏作者、之前负责监控平台实时告警研发,现专注于 Flink 开发,积极活跃于开源社区,擅长 Flink、Kafka、ElasticSearch、监控告警等。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
MySQL数据库之常用分库分表方案实例分析
一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。1、IO瓶颈 第一种:磁盘读IO瓶颈,热点数据太多,数据库缓存放不下,每次查询时会产生大量的IO,降低查询速度 -> 分库和垂直分表。第二种:网络IO瓶颈,请求的数据太多,网络带宽不够 -> 分库。2、CPU瓶颈 第一种:SQL问题,如SQL中包含join,group by,order by,非索引字段条件查询等,增加CPU运算的操作 -> SQL优化,建立合适的索引,在业务Service层进行业务计算。第二种:单表数据量太大,查询时扫描的行太多,SQL效率低,CPU率先出现瓶颈 -> 水平分表。 二、分库分表 1、水平分库 1、概念:以字段为依据,按照一定策略(hash、range等),将一个库中的数据拆分到多个库中。 2、结果: 每个库的结构都一样; 每个库的数据都不一样,没有交集; 所有库的并集是全量数据; 3、场景:系统...
- 下一篇
设备接入IoT实例化节点开发实战
IoT物联网平台-实例化开发实战 前言 物联网平台支持用户创建实例,用于设备接入和业务管理。实例化有一下优势: 根据业务规模,购买匹配的实例规格,可大幅节约您的成本。 实例规格按需选择,避免触达公共实例默认限流阈值的问题。 实例间隔离更彻底,具有更高的数据可靠性和安全性 一个实例出现问题不会影响到您的其它实例 接下来,我们介绍一下实例化中完整的设备开发过程。 实例管理 进入IoT物联网平台控制台,选择实例管理,在实例列表的Tab,点击创建实例。 购买实例 根据业务规模,购买匹配的实例规格。 实例规格信息 购买成功后,我们在实例管理页面,能直接查看到实例规格信息。 切换实例 在实例管理页面,切换到实例设置Tab,在下拉框中选择目标实例,点击切换实例。刷新后,控制台就进入当前实例状态,顶部文案也会标记为实例。 查看实例节点信息 当我们选择实例后,设备MQTT接入点,云
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,CentOS7官方镜像安装Oracle11G
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Red5直播服务器,属于Java语言的直播服务器
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- 2048小游戏-低调大师作品