Kafka+Flink 实现准实时异常检测系统
1.背景介绍 异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的 行 业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防场景做入侵检测等等。 根据业务要求的不同,流计算在其中扮演着不同的角色:既可以做在线的欺诈检测,也可以做决策后近实时 的 结果分析、全局预警与规则调整等。 本文先介绍一种准实时的异常检测系统。 所谓准实时,即要求延迟在100ms以内。 比如一家银行要做一个实时的交易检测,判断每笔交易是否是正 常 交易:如果用户的用户名和密码被盗取,系统能够在盗取者发起交易的瞬间检测到风险来决定是否冻结这 笔 交 易。 这 种场景对实时性的要求非常高,否则会阻碍用户正常交易,所以叫做准实时系统。 由于行动者可能会根据系统的结果进行调整,所以规则也会更新,流计算和离
