Flink状态管理和容错机制介绍
作者: 施晓罡 (花名:星罡)
导读:本文来自8月11日在北京举行的 Flink Meetup会议,分享来自于施晓罡,目前在阿里大数据团队部从事Blink方面的研发,现在主要负责Blink状态管理和容错相关技术的研发
本文主要内容如下:
- 有状态的流数据处理;
- Flink中的状态接口;
- 状态管理和容错机制实现;
- 阿里相关工作介绍;
一.有状态的流数据处理
1.1.什么是有状态的计算
计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。 比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到count上去,那么count就是一个state。
1.2.传统的流计算系统缺少对于程序状态的有效支持
- 状态数据的存储和访问;
- 状态数据的备份和恢复