资源消耗降低2/3,Flink在唯品会实时平台的应用
本文主要内容包括以下几个方面: ●唯品会实时平台现状; ●Flink在唯品会的实践; ●Flink On K8S; ●最新项目进展。 一、唯品会实时平台现状 目前在唯品会,实时平台并不是一个统一的计算框架,而是包括Storm、Spark、Flink在内的三个主要计算框架。由于历史原因,当前在Storm平台上的job数量是最多的,但是从去年开始,业务重心逐渐切换到Flink上面,所以今年在Flink上面的应用数量有了大幅增加。 实时平台的核心业务包含八大部分: ●RTRS(实时推荐引擎):实时推荐作为电商的重点业务,包含多个实时特征; ●Dataeye(大促看板):包含各种维度的统计指标(例如:各种维度的订单、UV、转化率、漏斗等),供领导层、运营、产品决策使用; ●实时数据清洗:从用户埋点收集来数据,进行实时清洗和关联,为下游的各个业务提供更好的数据; ●互联网金融; ●安全风控; ●与友商比价; ●Logview、Mercury、Titan作为内部服务的监控系统; ●VDRC实时数据同步系统等。 共计有1400台机器和600+应用。 图1 实时核心业务 实时平台的职责主要包括实时计算...