SLA 99.99%以上！饿了么实时计算平台3年演进历程

一、背景

饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时 Infra 和平台工具开发，其中包括20+组件的开发和维护、2K+ Servers 运维及数据平台周边衍生工具研发&维护。离线 Infra 和平台工具这一块对外分享的比较多。

今天主要给大家讲讲饿了么在实时计算平台方面的一些演进经验，整个实时平台也是经历了从无到有→快速发展→平台化的阶段，每个阶段都面临了不同的问题。

二、整体规模和架构

首先介绍下目前饿了么实时平台的整体规模：

4 Kafka 集群，单 Kafka 高峰100wmsg/s；
2 ELK 集群用来做日志检索，全网索引量86w/s；
4 Storm 集群，根据业务 SLA 进行物理拆分，全网高峰计算量1.6kw/s；
2 Spark Streaming 集群和2个 Flink 集群，都是