AI大觉醒:图灵奖得主Bengio称AI将产生意识,未来机器学习核心是注意力机制
云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
人工智能会产生意识吗?
这是一直以来美剧《西部世界》中探讨的问题。AI主人公觉醒,意识到这个世界是人类杀伐主宰的乐园,于是开启了逆袭之路。
在本周举行的2020年ICLR上,图灵奖得主、蒙特利尔学习算法研究所主任Yoshua Bengio对AI和机器学习的未来提供了最新的见解。他讲到未来机器学习完全有可能超越无意识,向全意识迈进。而注意力机制正是实现这一过程的关键要素。
这位大咖2月份刚刚在纽约的2020年AAAI 会议上与图灵奖获得者 Geoffrey Hinton 和 Yann LeCun 一起发表了演讲。而在ICLR的演讲中,Bengio 阐述了他更早之前的一些想法。
注意力机制是啥?
注意力机制来源于人类的视觉注意力,是人类在进化过程中形成的一种处理视觉信息的机制。最简单的例子,比如看一个图片,会有特别显眼的场景率先吸引注意力,因为大脑中对这类东西很敏感。
注意力是神经科学理论的核心,该理论认为人们的注意力资源有限,所以大脑会自动提炼最有用的信息。
在机器学习的语境下,「注意力」指的是一个算法关注一个或同时关注到几个元素的机制。它是一些机器学习模型架构的核心。2017年,谷歌论文Attention is All You Need当中提出了Transformer,一个利用注意力机制来提高模型训练速度的方法。Transformer在一些特定任务中性能表现超过Google之前的神经机器翻译模型。
Google Transformer架构
目前,注意力模型(Attention Model)已经在自然语言处理、图像识别以及语音识别等领域取得了最先进的成果,是深度学习技术中最值得关注与深入了解的核心技术之一。注意力模型也是构成企业AI的基础,帮助员工完成一系列认知要求高的任务。
类比人类思维,靠直觉还是靠推理?
Bengio 在演讲中谈到了美籍以色列心理学家兼经济学家 Daniel Kahneman 在他2011出版的开创性著作《思考,快与慢》中提出的认知系统。
第一种认知类型是无意识的(快系统),凭直觉,非常快速,非语言性的,基于惯性,它只涉及隐含的知识类型,是人潜意识中的知识,深藏于脑海中。
简单说,这种过程不费脑子,第一反应,直觉地做出回应。比如说,思考1+1=2的过程。
当然这种直觉思考的过程会产生很多偏差,比如说曝光效应,光环效应等。曝光效应一个最明显的例子就是电视广告,天天重复播放的信息给你洗脑,会在人的大脑里构成曝光效应,让你觉得这个产品好。直觉很多时候是非理性的。
第二种认知类型是有意识的(慢系统),基于语言学和算法,要涉及更高级一些的推理和规划,以及显性的知识。换句话说,是需要费力思考的,比较慢,比如说脑内运算158乘以67。
正是快和慢的结合构成了我们人类的思维模式。
Bengio将这个人类的有意识思维和AI进行对比,他指出,有意识的认知系统的一个有趣特征是,它可以在新的情境下,将语义概念进行重组,这也是人工智能和机器学习算法所具备的特性。
某种程度上,AI和机器学习算法比人脑的直觉要更加理性。
这让人想起《西部世界》的科学顾问,神经学家大卫·伊格尔曼(David Eagleman)说的一句话,意识,是一种突破程序设定的连接。我们能够复制大脑的算法;如果这个算法等同于意识,那意识也理应可以被复制和转移。
意识从无到有,未来AI不再「跟着感觉走」?
目前的机器学习方法还没有完全超越无意识到全意识,但是 Bengio 相信这种转变未来是完全有可能的。
他指出,神经科学研究表明,有意识的思维中涉及的语义变量往往是含有因果关系的ーー它们涉及的对象可控,比如说意图。换句话说,不再跟着感觉走,是有逻辑和目的性在其中。
同时,语义变量和思维之间存在映射关系,例如词语和句子之间的关系,而且已有的概念可以进行重新组合,形成新的、不熟悉的概念。
注意力正是实现这一过程的核心要素之一,Bengio 解释道。
在此基础上,他和同事们在去年的一篇论文中提出了循环独立机制(recurrent independent mechanism,RIMs) ,这是一种新的模型架构,在这种架构中,多组单元独立运作,相互之间通过注意力机制交流。前者保证了专业,后者保证了泛化。
实验目标是,证明 RIM 能够改善模型在不同环境和模块化任务中的泛化效果。该研究不关注该方法是否超出高度优化的基线模型,而是想展示该方法面对大量不同任务时的通用性,且这些任务的环境是不断变化的。
图 10:RIM 与 LSTM 基线模型的对比。在这 4 个不同实验中,研究者对比了 RIM 和两个不同的 LSTM 基线模型。在所有案例中,研究者发现 rollout 过程中,RIM 比 LSTM 更准确地捕捉到球的运动轨迹。
实验结果表明,RIM具备专门化(specialization)特性,可大幅提升模型在大量不同任务上的泛化性能。
「这使得智能体能够更快地适应分布的变化,或者... ... 推断出变化发生的原因,」Bengio 说。
他又讲到想要打造「有意识」的AI系统面临几大挑战,包括训练模型进行元学习(或理解数据中的因果关系) ,以及加强机器学习和强化学习之间的集成。但他相信,生物学和AI研究之间的相互作用最终将解开这把神奇的钥匙,使这些机器可以像人类一样推理,甚至表达情感。
「神经科学早已开始研究意识相关的问题了... ... 在过去的几十年里取得了很大进展。我认为现在是时候将这些进展纳入到机器学习模型当中了。」Bengio在演讲中表示。
看来西部世界中的世界也不远了...
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
原文发布时间:2020-04-29
本文作者:梦佳
本文来自:“新智元”,了解相关信息可以关注“新智元”
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
正经的聊聊分布式架构中的 Redis
开篇思考 Redis 为什么在系统中使用?解决了哪些问题? Redis 如何保证和数据库同步? Redis 缓存操作是在操作数据库前还是操作数据库后? 话还得从上次报税说起,耳边还回绕这残留的芬芳:“SX系统,这也不能点,那也不能用!”,身为程序员的我听到总是百感交集,程序员背锅是免不了了。。。 上线至今都能用的系统,突然就不行了,为什么?问题就在稳定性和系统架构上,发现问题就要吸取经验和血的教训。 我也特别喜欢吐槽,我觉得正确的吐槽姿势有助于系统的良性发展,就像父母的爱强烈扎刺着程序员面临崩溃的心灵,流出的爱的液体浇灌给系统茁壮成长。 系统稳定,快速,美如画谁都想追求,可是往往美好的东西后面代价也不小。 追求可靠,我们需要+集群部署,容错容灾,那么就需要更多的机器设施及其他附属服务。 追求快速,我们需要解决地域限制,全球部署战斗机,DNS 快速定位访问,软件层面缓存技术。 那么接下来我们就来扒一扒分布式系统架构中 Redis 的使用,进入正题,不扯蛋了。让我们看看 Redis 给分布式系统带来哪些好处和问题的解决方案,看看这些代价是否值得。 Redis 简介 内存存储,速度极快 ke...
- 下一篇
提高github下载速度的方法「100%有效」可达到2MB/s
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 因为大家都知道的原因,在国内从github上面下载代码的速度峰值通常都是20kB/s。这种速度对于那些小项目还好,而对于大一些的并且带有很多子模块的项目来讲就跟耽误时间。而常见的的方法无非就是修改HOST或者挂VPN,实际用起来并不稳定。 这里提供一种新的方法,下载速度可以达到 1~2MB/s 1. 利用开源中国提供的代码仓库 标题已经说的很清楚了,我想对于经常使用git的人来讲,很可能已经知道了。对于新手刚接触git的人来讲,可能你只知道github。实际上,国内也有很多代码仓库提供方,国外也不只github。只不过国内也是刚刚开始,关注的人不多。 开源中国提供的代码仓库提供了一个功能,就是它可以将github账号中的代码 clone 到开源中国的账户中去。这个代码仓库叫做 码云 ,没错就是码云?。 要求你有一个github账户,一个码云gitee账户。 步骤很简单 1.将github上面你想要搞下来的项目首先 frok 到你自己的github的账户中去。耗时:一瞬间 2.登录gite...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- Mario游戏-低调大师作品
- CentOS关闭SELinux安全模块
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池