一种基于实时大数据的图指标解决方案
作者:京东科技 尚建平
1. 现有技术
在电商、金融风控领域,使用图来建模,将大量的人员和事件编织成一张庞大的图关系网络,构建图指标来识别异常人员和群体风险行为,目前图指标现有实现方式是基于离线数据或t+1数据构建图关系网络,图指标由业务人员或需求人员根据业务需要提出具体需求由开发人员临时开发、测试、部署、上线。
2. 现有技术的缺点
第一,图指标时效性差,无法实时更新图关系数据,在某些时效性强的场景下图指标不可用。
第二,创建、修改图指标流程繁琐,业务及需求人员无法单独实现,需开发人员临时开发。
第三,图指标相关元数据没有统一管理及分类,无法查看、修改、复用、追溯。
3. 本发明技术方案
3.1 本发明所要解决的技术问题(即发明目的)
第一,接收实时大数据流,实时构建图关系网络,图指标可基于实时图关系数据查询。
第二,业务及需求人员对图指标可视化创建、测试、上线,无需开发人员参与。
第三,图指标相关元数据进行统一管理及分类,可灵活查看、修改、复用、追溯。
3.2 本发明的完整技术方案
3.2.1 系统原理图、结构说明图或流程图
图1-系统原理图
3.2.2 技术方案详细描述
如图2-系统流程图所示,方案详细描述如下:
步骤1:实时图指标平台获取用户设计图指标相关的元数据信息,包括数据源、图模型、图指标等元数据。数据源信息描述了接入数据源类型和数据源字段信息,图模型信息描述图关系网络的构建模型及构建数据的字段映射信息,图指标信息描述图指标计算逻辑信息。
步骤2:实时图指标平台根据数据源信息接收外部实时流数据。数据源主要是可构建图关系网络的人员及事件信息,包括用户登入、注册、订单交易、风险决策等数据源。
步骤3:实时图指标平台将接收的实时流数据进行清洗、转换、分流。将接收的数据源中无效的数据及非法数据清除,并根据不同图模型数据要求对数据进行转换、分流。
步骤4:实时图指标平台根据图模型信息及数据字段映射信息,将实时数据流转换生成可插入图关系数据的类SQL。将人员及事件信息转换成用类SQL表示的用户、设备等节点及用户与设备节点之间关联的登入、注册等边数据。
步骤5:实时图指标平台通过对nebula图数据库各图空间执行类SQL将图关系数据插入更新至nebula图数据库。通过实时插入更新类SQL表示的节点及关联边数据,将大量的人员和事件编织成一张庞大的图关系网络,并实时更新。
步骤6:实时图指标平台接收外部系统查询图指标结果请求及入参,查询用户可视化配置的图指标相关元数据信息。如查询用户x近30天内使用过的所有设备关联的注册金白条用户数量。
步骤7:实时图指标平台将可视化配置的图指标元数据信息转换成用类SQL表示的图指标计算逻辑。如从用户x节点查找近30天登入、注册等边关联出的所有设备,再反向查找这些设备被多少注册过金白条的用户使用过。
步骤8:实时图指标平台通过对nebula图数据库执行查询类SQL,获取图指标查询结果,根据业务情况调整图指标阈值,识别异常人员和群体风险行为。如用户x近30天内使用过的所有设备关联的注册金白条用户数量大于5时,那么识别出用户x是风险用户。
图2-系统流程图
3.3 本发明希望保护的技术创新点
本发明通过接收实时大数据流,实时构建图关系网络,实现图指标数据实时查询。
本发明通过可视化配置维护图指标相关信息,实现图指标及相关元数据统一管理、快速部署上线。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
云原生引擎单元测试实践
作者:京东零售 王雷 单元测试 概念 单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。单元测试是一种白盒测试技术,一般都是由开发人员在编码阶段完成,目的就是验证软件代码中的每个单元(方法或类等)是否符合预期,即尽早在尽量小的范围内暴露问题。 快速迭代的开发工作中如何提高代码质量一直是团队痛点,特别是没有测试支持的开发团队。合理的使用单元测试,并关注单元测试通过率、代码覆盖率可以有效提高代码质量。 云原生引擎服务,实践了单元测试,并在研发自测、预发、上线等阶段实施了相应的策略。在一定程度上提高了代码的质量。 单元测试的目的 单元测试的目的在于发现各模块内部可能存在的各种错误,主要包括以下几个方面: (1) 验证代码是与设计相符合的。 (2) 发现设计和需求中存在的错误。 (3) 发现在编码过程中引入的错误。 在开发阶段尽可能发现代码中的问题;在预发集成阶段尽可能发现各个业务代码之间的问题;在上线阶段做最后的确认保证上线代码质量。 单元测试除了能够在较早阶段识别软件中的错误,它还有如下价值。 •反馈速度快:单元测试通常以自动化形式运行,执行速度非常快,可以快速反馈结...
- 下一篇
【程序员日记】---当“微服务”遇到了“电饼铛“
作者:京东物流 赵勇萍 之后的日子里,我可能会陆陆续续写一写跟编程技术感悟相关的文章,一来可以梳理一下对技术和工作的思考,二来也可以记录一下技术成长的的过程。 换个叫法的话,就叫做程序员日记吧。 电饼铛 今天就从电饼铛说起。 上周,我家的电饼铛坏了,原因可能是清洗过后线路短路导致的。那个老式电饼铛确实用了好些年,且功能单一,基本上除了开关键,再也没有什么可以按钮的地方了,不过老妈却一直用的很顺手。 而对我来说,这确实个好消息,终于可以换一个好电饼铛了。于是在网上买了一个七百多的苏泊尔的电饼铛,这一下子感觉高大上了许多,很多内置模式,可以支持煎蛋,煎饼,炸鸡翅等多种模式,对温控的把握也十分精准。 不过,对于我老妈来说,她并没有显得多兴奋,我将使用说明一一教给她用,但老妈最终只选择一种用法:打开开关,选择自定义模式,一切都靠经验去判断电饼铛的温度和对食材的感觉,其他所有的内置模式,对她老人家来说,好像确实是多余的。 对此,我有点陷入沉思,总觉得有一种似曾相识的感觉。 仔细思考,其实这种情况在编程过程中屡见不鲜。其实这不就是我们微服务架构中经常会遇到的一种情况么.... 好的,接下来,如果把...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS8编译安装MySQL8.0.19
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Docker使用Oracle官方镜像安装(12C,18C,19C)