OpenMLDB在银行上线事中交易反欺诈模型实践

2021-07-13 683

业务背景

随着机器学习慢慢得业界认可，很多银行开始引入机器学习模型辅助规则引擎做决策，银行也做很多离线机器学习模型探索，效果都不错，但是却很少最后应用于在线环境，主要有以下几个原因

在风控场景，在线推理需要高性能，要求tp99 20ms，大部分模型性能很难达到
特征实效性要求高，基于真正滑动时间窗口做时序特征，大部分的基础设施无法满足
特征计算复杂且量大，上线成本非常高
离线特征计算与在线一致性保持困难，最终出现离线效果好，在线效果差情况

今天作为一个机器学习应用开发者，来告诉大家基于openmldb是如何解决这些问题的

如何使用OpenMLDB解决一致性问题

在没有使用OpenMLDB之前，完成一个反欺诈模型上线项目需要做以下事情去解决一致性问题

因为数据科学家离线使用SQL处理数据，而再在线需要实时计算特征，需要转写特征方案，就需要和数据科学家对齐特征处理逻辑，还需要考虑数据科学家方案变化的风险
根据反欺诈在线系统架构设计一套在线适合实时数据处理架构
需要人肉开发每一个特征处理逻辑，每个特征方案如果几千特征，会有大量开发成本，如果要对接多个模式是不可能的

在这个过程中特征处理会消耗大量时间去对齐，有时候还会因为特征无法上线砍掉科学家的部分特征，而使用OpenMLDB之后，数据科学家的SQL特征处理逻辑能够直接给我使用，也就是说我只用做一件事情，拿着数据科学家的sql 扔到OpenMLDB里面执行拿到结果做模型推理，再也不用关心数据科学家的特征处理逻辑是什么，所以OpenMLDB给我带来的好处

不用理解数据科学家的特征方案逻辑，即使方案调整，我也只需要更新SQL到OpenMLDB里面就行
不用设计整套在线数据计算流，使用OpenMLDB让我感觉就像使用MySQL开发传统应用一样简单
告别人肉开发特征，人生苦短，开发机器学习应用我用OpenMLDB

这里大家可能会好奇，OpenMLDB是如何做到一个SQL不用做任何修改就能批量和实时执行，因为OpenMLDB支持两种执行模式

批量模式，针对训练过程产生样本，类似传统数据库执行SQL
Request模式，针对推理过程实时产生样本，只会计算与请求相关的特征

如何使用OpenMLDB解决性能问题

OpenMLDB自带了一些列编译优化技术，比如函数动态循环绑定以及在线部分数据完全是in-memory的，能够保证非常高执行性能，以下是OpenMLDB github自带的性能数据

我们可以看出OpenMLDB的执行性能比SingleStore和Hana有很大的优势，接下来我们看一个实际SQL执行效率，SQL如下

select * from
(select
card_no,
trx_time,
merchant_id,
month(trx_time) as fea_month,
dayofmonth(trx_time) as fea_day_of_month,
hour(trx_time) as fea_hour,
week(trx_time) as fea_week,
substr(card_no, 1, 6) as card_no_prefix,
max(trx_amt) over w30d as w30d_trx_max ,
min(trx_amt) over w30d as w30d_trx_min,
sum(trx_amt) over w30d,
avg(trx_amt) over w30d,
max(usd_amt) over w30d,
min(usd_amt) over w30d,
sum(usd_amt) over w30d,
avg(usd_amt) over w30d,
max(org_amt) over w30d,
min(org_amt) over w30d,
sum(org_amt) over w30d,
avg(org_amt) over w30d,
distinct_count(merchant_id) over w30d,
count(merchant_id) over w30d,
distinct_count(term_city) over w30d,
count(term_city) over w30d,
max(trx_amt) over w10d,
min(trx_amt) over w10d,
sum(trx_amt) over w10d,
avg(trx_amt) over w10d,
max(usd_amt) over w10d,
min(usd_amt) over w10d,
sum(usd_amt) over w10d,
avg(usd_amt) over w10d,
max(org_amt) over w10d,
min(org_amt) over w10d,
sum(org_amt) over w10d,
avg(org_amt) over w10d,
distinct_count(merchant_id) over w10d,
count(merchant_id)  over w10d,
distinct_count(term_city)  over w10d,
count(term_city) over w10d
from  tran
window w30d as (PARTITION BY tran.card_no ORDER BY tran.trx_time ROWS_RANGE BETWEEN 30d PRECEDING AND CURRENT ROW),
w10d as (PARTITION BY tran.card_no ORDER BY tran.trx_time ROWS_RANGE BETWEEN 10d PRECEDING AND CURRENT ROW)) as trx_fe
last join card_info order by card_info.crd_lst_isu_dte on trx_fe.card_no = card_info.crd_nbr and trx_fe.trx_time >= card_info.crd_lst_isu_dte ;

先分析一下这个SQL，影响起性能的因素

时间窗口里面数据条数
特征个数

因为特征个数是特定的，所以我们测试在不同条数的时间窗口的性能表现

使用OpenMLDB在线业务效果

业务效果，是大家非常关心的事情，目前我上线了多个银行的反欺诈场景，在线效果与离线评估效果保持了一致，模型效果对比客户的专家规则有2～8提升，在同样的召回率情况下，客户非常认可我们的工作，希望我的分享能够帮助大家

关于OpenMLDB

OpenMLDB是一个面向机器学习应用提供正确、高效数据供给的开源数据库。除了超过10倍的机器学习数据开发效率的提升，OpenMLDB也提供了统一的计算与存储引擎减少开发运维的复杂性与总体成本。

欢迎大家参与到https://github.com/4paradigm/OpenMLDB 社区中

微信关注我们

原文链接：https://my.oschina.net/u/5108597/blog/5130058

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

CSS 浮动布局放弃float，拥抱flex（详解）

CSS 浮动布局放弃float，拥抱flex（详解）博客说明文章所涉及的资料来自互联网整理和个人总结，意在于个人学习和经验汇总，如有什么地方侵权，请联系本人删除，谢谢！说明在写前端代码的时候，写一排的float:left, float: right，最后再来个clear:both;有的时候一旦忘记清除浮动，那么页面就糊了。就是吃了float的亏，代码写得多，还容易吃亏。所以目光旁移一下，看到了flex。 Flex布局 Flex 称为弹性布局，它为盒状模型提供了最大的灵活性。任何一个容器都可以指定为 Flex 布局。使用了flex的元素，称为flex容器。里面的子元素被称为项目，项目的float、clear和vertical-align属性将失效。 // Flex 布局 .box{ display: flex; } // 行内元素使用 Flex 布局 .box{ display: inline-flex; } // Webkit 内核的浏览器，必须加上`-webkit`前缀 .box{ display: -webkit-flex; /* Safari */ display: f...

2021-07-13

595

2011年，Kent Beck 加入了 Facebook 。那时的他已年过半百，几十年的经验让他自认为非常了解软件行业。在 Facebook 的新手训练营期间，Kent 开始意识到，Facebook 与他所见过的任何公司都不一样。 Facebook 确实在做真正的敏捷，不仅非常灵活，而且时刻在为改变做准备。在 Facebook 训练营结束后，Kent 开始探索 Facebook 的代码库和文化。他发现，Facebook 用于构建和扩展产品的方法，彻底重塑了他对软件工程的信念。 Kent 刚加入 Facebook 时，Facebook 有2000名员工，当 Kent 离开时，员工数量扩展到了25000名。Facebook 非常注重6个月的审核周期。每6个月，员工就需要证明自己对 Facebook 产生的影响。而 Kent 对“影响”一词显然持有不同意见。 “这是我关心的指标，这是我的工作，这是我个人的影响……” 类似这样的话，Kent 需要每6个月汇报一次。这确实能使每个人都专注于自己正在做的事，保证每个人对公司有所贡献。但同时也有一定的缺点，社交工程师可以轻松提取私人信息，会使应用...

2021-07-14

586

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。