遵循因果性的可解释AI预测
1弱因果关系的可解释预测
过去(包括现在),我们经常能在很多数据分析或BI产品上看到:在稀稀落落的散点图上,顺势一划,勾勒出一条曲线,再在横向时间轴上延展若干时间跨度,然后有人就告诉你——“喏!这就是你想要的预测!”。
这是一种典型的基于统计学方法的数据预测过程,通常使用线性拟合,高次曲线拟合等方法来做数据的预测。这类预测方法仅凭手头的数据,完全不需要考虑数据背后的业务逻辑。只要曲线阶次足够高,就可以做到历史数据拟合准确度无限逼近100%。
在曲线阶次限定(比如线性拟合)的情况下,这种预测由于方法简单,对预测结果还是具有一定的可解释性。但历史数据拟合的准确度不代表预测准确度,你很难说得清楚到底多少阶次的曲线拟合是更适合你的业务场景的。而且更严重的问题是,这种纯时间序列的趋势预测,只能单纯考虑时间的弱因果关系,根本没法考虑实际业务中因各种外部因素引起的数据变动,因此是一种不可增强的预测。
2.不可解释的黑盒预测
近年来,由机器学习和深度学习驱动的人工智能领域在发生着翻天覆地的变化。特别是深度学习,在各个领域都取得了骄人的成绩,比如人脸识别、语音识别、自然语言处理等领域的发展均深受影响。
而在预测分析方面,基于机器学习或深度学习的各类预测算法也在不断推动商业模式的变革。比如电商行业,基于大数据,根据客户点击与购买记录,利用算法推测客户喜好,展开精准营销。
然而很多机器学习模型(深度学习首当其冲)的可解释性不强,这也导致在真正的商业应用中无法被广泛地采纳。这是因为企业决策者在做经营决策时无法接受一个不可解释的结论,更无法接受如果预测出来的结果并不准确,用户却不知道如何优化当前的模型。
图片来源:https://cloud.tencent.com/developer/article/1096716
那么这种不可解释的机器学习、深度学习方法为什么在某些场景下适用,而在预测场景内不适用了呢?
首先,我们来看几个深度学习适用的场景:人脸识别、自然语言处理。我们可以发现,这些场景都是基于可伸缩、高性能的基础设施,依赖于在大量数据集上训练得到复杂的机器学习分类模型,才有可能创建和使用我们并不真正理解的决策系统。
人们对于他们的信任,是基于大量的样本数据的训练和交叉检测,使得模型准确度达到可被广泛接受的程度。另一方面,在这些场景中,用户能提供的信息是全面的,无法再提供额外输入,比如,你不能让用户在进行人脸扫描的时候,再输入些其他信息来补充到算法模型里面。但以上两点,在真实的商业预测类场景里面却是不成立的:
- 企业可以积累一定的历史数据来供预测算法使用,但绝非能够达到人脸识别、自然语言处理模型训练这样体量的样本数据量。
- 企业业务数据的起伏波动往往是由各种外部因素共同作用引起的。我们在做预测分析的时候,不能仅仅局限于时序数据本身,而更应该深入分析业务场景,将各种具有因果关系的外部因素量化后加入到预测模型中来,这样的预测才是真正跟业务接轨的。而这种迭代优化的能力是人脸识别等场景所不具备的。
- 企业数据在收集过程中,可能存在一些系统性的偏差,这可能会导致在预测、训练过程中找到一些虚假关联,做出错误决策,因此在做预测分析时,往往需要对结果的信任和接受作出解释。
3.遵循因果性的可解释AI预测
鉴于以上原因,观远数据在做AI预测时,一直坚持算法模型遵循业务逻辑因果性,保证模型结果一定具有可解释的能力。只有这样,模型才能真正反映业务的内在逻辑,才能在预测结果不准时,主动去挖掘更多还未考虑进来的因子加入到预测模型中去,提升模型与业务的匹配度。
也只有这样,才有可能通过预测结果中的可解释因子来指导商业决策的选择与改进。而在预测模型准确度得到有效保障的基础上,因为构成模型的各个因素均具有可解释性,那么我们就可以将他们进行分类,用于进一步的分析与决策选择。
· 对于不可控的因素,企业一般无法改变,我们能做的是尽可能地去发现这些因素,并加到数据预测模型中来。
· 对于一些可控的因素,例如门店选址、新品研发、促销活动等,我们可以通过What-if分析与预测分析相结合的方式,来更好地指导决策。
4.可解释性的重要性
由于业务场景千变万化,没有一套通用的预测算法可以解决所有问题。既然场景、模型都有那么多的选择,企业管理者对模型的信任都会比较谨慎。因此无论我们提供给客户的解决方案的最终目标是什么,客户都需要一个可解释、可关联、可理解的解决方案,这是建立信任的必要因素,因为它代表安全、责任与可靠!
此外,借助模型的可解释性,用户可以通过调整可控因素,获得最优预测结果,为企业管理者提供更多可操作的决策方法。而作为解决的提供商,我们也可以在模型的可解释性中受益,从而验证并持续改进我们的工作。
1. 判别并减少偏差
我们用来预测的数据集规模可能是有限的,并且不能代表所有数据,而且在数据收集过程中可能没有考虑到潜在的偏差。虽然数据偏差问题没有唯一的解决方案,但是可解释性一个关键的作用是可以帮我们意识到潜在的偏差。
2. 帮助考虑问题发生的上下文
在大多数时候,我们使用的数据集仅仅是正试图解决的问题的粗略表示,而机器学习模型无法捕捉到真实业务的完整复杂性。可解释模型可以帮助我们了解并解释模型中包含和未包含的因素,同时根据模型预测结果采取行动时,考虑该问题的上下文情境。
3. 改进预测模型的泛化能力与准确度
高解释性模型通常有更好的泛化能力。可解释性不是要数据的所有细节,但将可靠的数据,模型和问题理解结合起来往往获得准确度更好的解决方案。
4. 规避道德和法律风险
欧洲议会最近通过了通用数据保护法规(GDPR),该法规已于2018年5月成为法律。GDPR的一个创新方面是关于自动决策的条款,包括profiling,它首次在某种程度上为所有个人引入了一种解释权,以便在自动决策发生时对所涉及的逻辑进行有意义的解释。而在实际某些行业里,企业需要审计决策过程并确保它是没有歧视或违反任何法律。随着数据和隐私保护法规(如GDPR)的发展,可解释性变得更加重要。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Knative 实践:人脸图片识别
标准 Serverless 框架和人脸识别服务结合会产生怎样的火花?本文介绍如何通过 Knative 实现人脸识别服务,看看能否给你带来不一样的体验。 场景 通过 OSS 控制台上传照片,MnsOss 事件源接收图片上传的事件信息,发送到 Knatvie Eventing,通过Broker/Trigger事件处理模型之后,接着触发 Knative Serving 中的人脸识别服务进行分析。最后把分析之后的图片回传到 OSS。 准备 安装 Knative Serving 和 Eventing, 参见部署Knative 安装 Knative MnsOssSource 事件源服务容器服务控制台->市场->应用目录,选择 ack-knative-mnsoss-sources 安装 在 OSS 控制台创建 Bucket,参见创建存储空间这里
- 下一篇
语音识别(ASR)基础介绍第二篇——万金油特征MFCC
上一章提到了整个发声与拾音及存储的原理。但是在了解ASR的过程中,发现基本上遇到的资料都避不开MFCC特征。 整个ASR的处理流程大致可以分为下图: 左侧是经典的处理流程,右侧是近期流行的流程。发生的变化是,将语言模型以下的部分变成端到端的了。 我们将语言模型以下的部分统一看成是声学模型就好。 而MFCC主要用在左侧的处理流程中,即“特征处理”的输出结果。 虽然可以看成,端到端的声学模型出来后,我们已经不需要MFCC了,直接输入音频即可。 不过这并不意味着MFCC就没用了。 在“根据发音确认发音人身份”等许多领域,MFCC还是个很短平快切粗暴有效的特征。 由于MFCC的重要性,和asr相关专业的人士交流时,最好是能提前具备此共识。 MFCC 细节介绍: MFCC给人的感觉像是孟德尔遗传定律。在人们还并不确定人耳是如何解析声音的时候,假设了这是一个傅里叶变换后的频域处理过程。然后,最近的医学研究成果表明,人耳也确实大致是这么工作的,对应的器官名字叫耳蜗,或蜗牛。 MFCC虽然名字就4个字母,但其实是集成了很多很多的思考和假设在里面。 了解过之后,你就不会再后悔大学数学的卷积操作毛用都没有...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路