Kafka+Flink 实现准实时异常检测系统

2018-10-07 694 收藏

1.背景介绍

异常检测可以定义为“基于行动者（人或机器）的行为是否正常作出决策”，这项技术可以应用于非常多的

行 业中，比如金融场景中做交易检测、贷款检测；工业场景中做生产线预警；安防场景做入侵检测等等。

根据业务要求的不同，流计算在其中扮演着不同的角色：既可以做在线的欺诈检测，也可以做决策后近实时

的 结果分析、全局预警与规则调整等。

本文先介绍一种准实时的异常检测系统。

所谓准实时，即要求延迟在100ms以内。 比如一家银行要做一个实时的交易检测，判断每笔交易是否是正

常 交易：如果用户的用户名和密码被盗取，系统能够在盗取者发起交易的瞬间检测到风险来决定是否冻结这

笔 交 易。

这 种场景对实时性的要求非常高，否则会阻碍用户正常交易，所以叫做准实时系统。

由于行动者可能会根据系统的结果进行调整，所以规则也会更新，流计算和离

上一篇 下一篇

微信关注我们

原文链接：https://yq.aliyun.com/articles/648249

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

关于HBase Region的一些基本概念

最近发现HBase官方文档里面关于region的内容写的很清晰，所以尝试把其中和region的基本概念有关的内容做了翻译和简单的补充。关于Region的split/compact等操作的相关内容网上已经很多了，所以这些方面本文不涉及，只对region的概念和状态图这两部分内容做了搬运。如果需要了解更多内容可以自行阅读原文。Region是HBase中管理数据的一个单位，日常的运维中有相当一部分和region有关，把region的一些基本概念搞清楚还是很有意义的。 Region的概念 Region是HBase中表数据分布和访问的基本单位。这句话有两层含义：（1）从数据的逻辑概念来说，表按照rowkey范围划分为不同的region，region按照列族划分为不同的store，store中包含memstore和storefile。如下图：（2

2018-10-08

761

上一篇

阿里云MaxCompute 2018-09月刊

2018年9月大数据计算服务 MaxCompute 又发布新功能啦！ 【新功能】MaxCompute窗口函数支持WINDOW_CLAUSE 参考文档 适用客户 数据开发人员在进行数据开发过程中，用到调用window函数窗口时，SQL里反复写上OVER语句会显得冗余，MaxCompute在该版本中支持WINDOW语句预定义窗口，避免了这一现象。 发布功能 为了避免多次调用window函数窗口时，SQL里反复写上OVER语句会显得冗余，MaxCompute在该版本中支持WINDOW语句预定义窗口。 【新功能】子查询支持SCALAR SUBQUERY 参考文档 适用客户 适用于数据开发人员，在做数据开发时，遇到SUBQUERY的输出结果为单行单列的时候，可以当做标量来使用。 发布功能 MaxCompute SQL 中当SUBQUERY的输出结果为单行单列

2018-10-08

662

下一篇

相关文章

发表评论

发表

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-01-27 大小: 1MB 下载: 5次

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次