用Flink取代Spark Streaming！知乎实时数仓架构演进

作者 | 知乎数据工程团队

“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

本文主要讲述知乎的实时数仓实践以及架构的演进，这包括以下几个方面：

• 实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。
• 实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink Streaming。
• 实时数仓未来展望：Streaming SQL 平台化，元信息管理系统化，结果验收自动化。

实时数仓 1.