您现在的位置是：首页 > 文章详情

Flink SQL 功能解密系列 —— 阿里云流计算/Blink支持的connectors

日期：2018-02-07点击：728收藏

Blink Connectors

总览

Connector 是连接外部数据和blink计算框架的桥梁，也是流计算的入口和出口。目前，blink支持了集团内部绝大多数的上下游（如下图)，详细的接入方法可以见官方文档，本文主要阐述connector设计和使用上需要注意的问题。

Source插件

1. source connector控制消费位点

blink读取上游数据时，会记录消费位点和控制消费速度。结合blink checkPoint机制，source connector会周期性的把当前消费位点存储到rocksDB中。在发生failover的时候，source connector会从上一次成功消费的位点开始重追数据，保证at least once或excatly once的计算语义(取决于任务配置)。这也要求上游插件能够支持从特定位点恢复读，

原文链接：https://yq.aliyun.com/articles/457396

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。