Flink Weekly | 每周社区动态更新

Flink Weekly | 每周社区动态更新 - 2019/12/31

2020-01-02 909

大家好，本文为 Flink Weekly 的第二期，由 zhisheng 整理，主要内容包括：讨论在 Flink SQL 中支持 JSON functions，新增 Flink 国内社区的活动和相关博客，以及汇总中文邮件中大家遇到的问题。

Flink 开发

[SQL] Forward Xu 发起了一个讨论，要在 Flink SQL 中支持 JSON functions，最后将讨论的结果和想法记录在了 FLIP-90 。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Support-JSON-functions-in-Flink-SQL-td32674.html

[SQL] Jark Wu 发起一个讨论，建议在 1.10 release 之前将 Table API 和 SQL 中的 Time-windowed Join 改为 Interval Join。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Correct-the-terminology-of-quot-Time-windowed-Join-quot-to-quot-Interval-Join-quot-in-Table-L-td36202.html

[core]Stephan Ewen 之前发起的一个讨论，关于新的 Task Manager 内存配置 FLIP-49。

http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Some-feedback-after-trying-out-the-new-FLIP-49-memory-configurations-td36129.html

已知缺陷

[FLINK-15421] [1.9.1, 1.10.0] GroupAggsHandler throws java.time.LocalDateTime cannot be cast to java.sql.Timestamp。

https://issues.apache.org/jira/browse/FLINK-15421

[FLINK-15420] [1.10.0] Cast string to timestamp will loose precision。

https://issues.apache.org/jira/browse/FLINK-15420

[FLINK-15418] [1.9.1, 1.10.0] StreamExecMatchRule not set FlinkRelDistribution。

https://issues.apache.org/jira/browse/FLINK-15418

[FLINK-15411][1.10.0] Planner can't prune partition on DATE/TIMESTAMP columns。

https://issues.apache.org/jira/browse/FLINK-15411

[FLINK-15406] [1.9.1] The savepoint is writted by "State Processor API" can't be restore by map or flatmap。

https://issues.apache.org/jira/browse/FLINK-15406

[FLINK-15381] [1.10.0] INSERT INTO VALUES statement fails if a cast project is applied。

https://issues.apache.org/jira/browse/FLINK-15381

[FLINK-15370] [1.10.0, 1.11.0] Configured write buffer manager actually not take effect in RocksDB's DBOptions 在 DBOptions 中设置 WriteBufferManager 的值不起作用。

https://issues.apache.org/jira/browse/FLINK-15370

[FLINK-15361] [1.9.1] ParquetTableSource should pass predicate in projectFields。

https://issues.apache.org/jira/browse/FLINK-15361

活动 / 博客文章 / 其他

社区钉钉群群直播——《基于 Apache Flink 的监控告警系统》，PPT 下载 & 直播视频回放地址：

https://ververica.cn/developers/flink-training-course3/

年度回顾 | 2019 年的 Apache Flink（文末有福利）伍翀（云邪）

中文邮件问题/答疑汇总

StreamTableEnvironment.registerDatastream() 开放用户自定义的 schemaDescriptionh 和 DeserializationSchema。

http://apache-flink.147419.n8.nabble.com/StreamTableEnvironment-registerDatastream-schemaDescriptionh-DeserializationSchema-tp1347.html

在 1.8 版本使用 yarn session 模式时是 1 个 Task Manager 一个 CPU，当切换到 1.9.1 时使用同样的启动命令发现一个 slot 使用一个 CPU。

http://apache-flink.147419.n8.nabble.com/slot-td1345.html

Flink 1.9 批任务 yn 和 ys 对任务的影响。

http://apache-flink.147419.n8.nabble.com/Flink1-9-yn-ys-tp1313.html

Flink SQL 1.9.0 如何创建 elasticsearch 动态索引表。

http://apache-flink.147419.n8.nabble.com/flink-sql-1-9-0-elasticsearch-tp1342.html

source 并行度不同导致任务没有数据落地。

http://apache-flink.147419.n8.nabble.com/source-tp1336.html

Flink 1.9 SQL Kafka Connector，Json format，how to deal with not json message。

http://apache-flink.147419.n8.nabble.com/Flink-1-9-SQL-Kafka-Connector-Json-format-how-to-deal-with-not-json-message-tp1335.html

Flink 实现 Kafka 到 MySQL 的 End-To-End Exactly-Once 中遇到的问题。

http://apache-flink.147419.n8.nabble.com/Flink-Kafka-Mysql-End-To-End-Exactly-Once-tp1321.html

Rewind offset to a previous position and ensure certainty。

http://apache-flink.147419.n8.nabble.com/Rewind-offset-to-a-previous-position-and-ensure-certainty-tp1324.html

关于 Flink historyserver 没有 completed-jobs 的问题。

http://apache-flink.147419.n8.nabble.com/FLink-historyserver-completed-jobs-tp1320.html

Flink 维表关联，当维表更新后，如何将之前关联的数据进行更新。

http://apache-flink.147419.n8.nabble.com/flink-tp1322.html

The assigned slot was removed 分配好的 slot 突然就被 remove 了，导致作业重启。

http://apache-flink.147419.n8.nabble.com/The-assigned-slot-bae00218c818157649eb9e3c533b86af-11-was-removed-td1308.html

Flink Checkpoint 配置 HDFS 问题，如何配置高可用。

http://apache-flink.147419.n8.nabble.com/flink-checkpoint-hdfs-tp1318.html

实现一个两阶段提交的 ETL，数据从 Kafka 到 MySQL，遇到的异常问题。

http://apache-flink.147419.n8.nabble.com/ETL-kafka-mysql-tp1317.html

using thin jar to replace fat jar on yarn cluster mode。

http://apache-flink.147419.n8.nabble.com/using-thin-jar-to-replace-fat-jar-on-yarn-cluster-mode-tp1293.html

关于 Window Process Function 数据丢失问题。

http://apache-flink.147419.n8.nabble.com/Window-ProcessFunction-tp1311.html

关于 Flink 窗口是否正确关闭的问题。

http://apache-flink.147419.n8.nabble.com/flink-tp1305.html

CEP 匹配乱序数据的问题。

http://apache-flink.147419.n8.nabble.com/CEP-tp1301.html

2 分钟快速订阅 Flink 中文邮件列表

Apache Flink 中文邮件列表订阅流程：

发送任意邮件到 user-zh-subscribe@flink.apache.org
收到官方确认邮件
回复该邮件 confirm 即可订阅

订阅成功后将收到 Flink 官方的中文邮件列表的消息，您可以向 user-zh@flink.apache.org 发邮件提问也可以帮助别人解答问题，动动手测试一下！

Tips：

Flink Weekly 周报计划每周更新一期，内容涵盖邮件列表中用户问题的解答、社区开发和提议的进展、社区新闻以及其他活动、博客文章等，欢迎持续关注～

作者介绍：

zhisheng，《Flink 实战与性能优化》专栏作者、之前负责监控平台实时告警研发，现专注于 Flink 开发，积极活跃于开源社区，擅长 Flink、Kafka、ElasticSearch、监控告警等。

微信关注我们

原文链接：https://yq.aliyun.com/articles/741637

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MySQL数据库之常用分库分表方案实例分析

一、数据库瓶颈不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。1、IO瓶颈第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库。2、CPU瓶颈第一种：SQL问题，如SQL中包含join，group by，order by，非索引字段条件查询等，增加CPU运算的操作 -> SQL优化，建立合适的索引，在业务Service层进行业务计算。第二种：单表数据量太大，查询时扫描的行太多，SQL效率低，CPU率先出现瓶颈 -> 水平分表。二、分库分表 1、水平分库 1、概念：以字段为依据，按照一定策略（hash、range等），将一个库中的数据拆分到多个库中。 2、结果：每个库的结构都一样；每个库的数据都不一样，没有交集；所有库的并集是全量数据； 3、场景：系统...

2020-01-02

898

IoT物联网平台-实例化开发实战前言物联网平台支持用户创建实例，用于设备接入和业务管理。实例化有一下优势：根据业务规模，购买匹配的实例规格，可大幅节约您的成本。实例规格按需选择，避免触达公共实例默认限流阈值的问题。实例间隔离更彻底，具有更高的数据可靠性和安全性一个实例出现问题不会影响到您的其它实例接下来，我们介绍一下实例化中完整的设备开发过程。实例管理进入IoT物联网平台控制台，选择实例管理，在实例列表的Tab，点击创建实例。购买实例根据业务规模，购买匹配的实例规格。实例规格信息购买成功后，我们在实例管理页面，能直接查看到实例规格信息。切换实例在实例管理页面，切换到实例设置Tab，在下拉框中选择目标实例，点击切换实例。刷新后，控制台就进入当前实例状态，顶部文案也会标记为实例。查看实例节点信息当我们选择实例后，设备MQTT接入点，云

2020-01-03

731

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。