Flink SQL 功能解密系列 —— 阿里云流计算/Blink支持的connectors-低调大师

Flink SQL 功能解密系列 —— 阿里云流计算/Blink支持的connectors

2018-02-07 865

Blink Connectors

总览

Connector 是连接外部数据和blink计算框架的桥梁，也是流计算的入口和出口。目前，blink支持了集团内部绝大多数的上下游（如下图)，详细的接入方法可以见官方文档，本文主要阐述connector设计和使用上需要注意的问题。

Source插件

1. source connector控制消费位点

blink读取上游数据时，会记录消费位点和控制消费速度。结合blink checkPoint机制，source connector会周期性的把当前消费位点存储到rocksDB中。在发生failover的时候，source connector会从上一次成功消费的位点开始重追数据，保证at least once或excatly once的计算语义(取决于任务配置)。这也要求上游插件能够支持从特定位点恢复读，

微信关注我们

原文链接：https://yq.aliyun.com/articles/457396

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

什么是retraction（撤回）通俗讲retract就是传统数据里面的更新操作，也就是说retract是流式计算场景下对数据更新的处理方式。首先来看下流场景下的一个词频统计列子。没有retract会导致最终结果不正确↑： retract发挥的作用下面再分享两个双十一期间retract保证数据正确性的业务case: case1：菜鸟物流订单统计同一个订单的商品在运输过程中，因为各种原因，物流公司是有可能从A变成B的。为了统计物流公司承担的订单数目，菜鸟团队使用blink计算的retraction机制进行变key汇总操作。 -- TT source_table 数据如下： order_id tms_company 0001 中通 0002 中通 0003 圆通

2018-02-08

1631

更多云场景实践研究案例，点击这里：【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽国网浙江电力大数据平台架构师陈振带来Dataworks/MaxCompute在国网应用的实践。本文主要从建设数据仓库的三个痛点开始谈起，借助阿里云服务引出企业级数仓架构设计，数据集成和企业级管理的提升，最后作了简要的展望。采用的阿里云产品阿里云Dataworks 阿里云MaxCompute 阿里云云效（RDS）阿里云ADS 阿里云云数据库HBase 为什么使用阿里云借助阿里云服务助力国网浙江电力建设数据仓库，构建企业级数仓架构，数据集成和企业级管理关于国网浙江电力国网浙江省电力公司是国家电网公司下属的全资子公司，主要承担建设、运营、发展浙江电网，为浙江经济社会发展和人民生活提供可靠优质的电力保障，促进全省电力资源优化配置

2018-02-08

608

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。