实时计算Flink——快速入门概述
文本提供了一个安全监控作业案例,来帮助您了解实时计算开发流式作业。
安全监控背景介绍
随着科技的进步,数据的安全越来越被世人所关注,安全实时监控报警尤为重要。但是怎样在同时保证数据的正确性和实效性的前提下,在流式的数据里做实时监控报警呢?阿里云实时计算 Flink SQL团队对这一难题做出了攻克,将流式数据的源表和黑名单的维表进行实时JOIN。
以下案例是对实时监控报警的诠释。
安全监控业务架构图
作业操作流程
作业操作具体步骤如下。
-
步骤一:购买订单,绑定订单创建项目。
-
步骤二:注册上下游存储。
-
步骤三:数据开发,作业上线。
-
步骤四:生产运维。
本文转自实时计算——快速入门概述
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
G7在实时计算Flink的探索与实践
G7业务快览# G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据,将车辆、司机、车队、货主连接到一起,优化货物运输的时效、安全、成本等痛点问题。 整个数据是通过车载的传感器设备采集,比如公司的Smart盒子,CTBox盒子,油感设备,温度探头等,将车辆数据上报到后端平台,在后端平台计算和处理,最后展示到用户面前。 G7的业务场景是典型的IoT场景: 1.传感器数据 2.数据种类多 3.数据质量差 4.数据低延迟 5.数据量大 其中,数据质量差的原因是整个链条会非常的长,从传感器采集的车辆的数据,通过网络运营商将数据上报到后端服务器,再经过解析,mq,过滤,调用三方接口,业务处理,入库,整个过程非常的长,造成数据在传输过程中出现数据重复,数据缺失等。另外一点,IoT场景需要数据传输的延迟非常低,比如进出区域报警,当车辆进入到某个电子围栏中的时候需要触发报警,这个时候需要快速产生报警事件,通常不能超过30s,否则时间太长车辆已经通过了某个电子围栏区域再报警就没有价值了。再一个,数据量也是非常大的,现在每天产生轨迹点20亿+,每天产生数据量100亿+,对计算性能的要...
- 下一篇
深度解析双十一背后的阿里云 Redis 服务
在一片欢呼之中,2018年的双十一完美收官,各项数据不出意外的刷出了新的记录,亮眼的数据背后是阿里过硬的技术支撑。其中阿里云Redis不仅保障了阿里集团内部业务双十一的流量洪峰平稳度过,也让使用阿里云Redis的各个客户度过了一个安稳省心的双十一。 目前阿里云Redis涵盖了丰富的产品形态:主从、集群、读写分离、同城容灾、异地多活,可以选择单副本,双副本,还有混合存储类型。 主从规格的Redis具有100%的兼容性; 读写分离增加只读节点承担读流量,成本最优; 集群规格大容量、高性能,突破单机性能极限,兼容redis cluster, sentinel等多种架构,上云无忧; 同城容灾双机房部署,整机房故障切换到正常机房; 异地多活让业务全球部署,就近写入,自动全球实时同步。 此外,阿里云Redis还拥有热备份、账号、安全等功能,满足业务的各项安
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Mario游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8