Jstorm到Flink 在今日头条的迁移实践

作者r:张光辉
导读t:本文将为大家展示字节跳动公司怎么把Storm从J storm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。字节跳动公司是如何兼容以前的Jstorm作业以及基于Flink做一个任务管理平台的呢？本文将一一为你揭开这些神秘的面纱。

本文内容如下：

• 引入Flink的背景
• Flink集群的构建过程
• 构建流式管理平台

引入Flink的背景

下面这幅图展示的是字节跳动公司的业务场景

01.jpg

首先，应用层有广告，也有AB测，也有推送和数据仓库的一些业务。然后在使用J storm的过程中，增加了一层模板主要应用于storm的计算模型，使用的语言是python。所以说中间相对抽象了一个schema，跑在最下面一层J storm计算引擎的上面。

字节跳动公司有很多J