终于有人把自然语言处理、机器学习、深度学习和AI讲明白了
云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!
导读:本文将带你了解自然语言处理的概念、应用,以及与机器学习、深度学习和人工智能之间的关系。
01 自然语言处理的基础知识
为了便于理解,我们将这个术语分为两部分:
自然语言是一种有机且自然发展而来的书面和口头交流形式。
处理意味着使用计算机分析和理解输入数据。
如图1-1所示,自然语言处理是人类语言的机器处理,旨在教授机器如何处理和理解人类的语言,从而在人与机器之间建立一个简单的沟通渠道。
自然语言处理的应用很广泛,例如,在我们的手机和智能音箱中的个人语音助手,如Alexa和Siri。它们不仅能够理解我们的说话内容,而且能够根据我们说的话采取行动,并做出反馈。自然语言处理算法促进了这种与人类沟通的技术。
在上述自然语言处理定义中要考虑的关键是:沟通需要以人类的自然语言进行。几十年来,我们一直在与机器沟通:创建程序来执行某些任务并执行。
然而,这些程序是用非自然语言编写的,因为它们不是口头交流的形式,也不是自然或有机发展而来的。这些语言,例如Java、Python、C和C ++,都是在主要考虑机器的情况下创建的,并且始终考虑的是“机器能够轻松理解和处理的是什么?”
虽然Python是一种对用户更加友好的语言,且易于学习和编码,但与机器沟通,人类必须学习机器能够理解的语言。自然语言处理、机器学习、深度学习的关系如图1-2所示。
自然语言处理的目的与此相反。自然语言处理不是以人类顺应机器的方式学习如何有效地与它们沟通,而是使机器能够与人类保持一致,并学习人类的交流方式。其意义更为重大,因为技术的目的本来就是让我们的生活更为轻松。
我们用一个例子来澄清这一点,你的第一个程序是一段让机器打印“hello world”代码。这是你顺应机器并要求它用其理解的语言执行任务。
通过向其发出这个命令来要求你的语音助手说“hello world”,并做出“hello world”的反馈,就是自然语言处理应用的一个例子,因为你用自然语言与机器通信。机器符合你的沟通形式,理解你所说的内容,处理你要求它执行的操作,然后执行任务。
02 自然语言处理的重要性
图1-3说明了人工智能领域的各个部分。
与机器学习和深度学习一样,自然语言处理是人工智能的一个分支,因为其处理自然语言,所以它实际上是人工智能和语言学的交叉。
如上所述,自然语言处理使机器能够理解人类的语言,从而在两者之间建立有效的沟通渠道。然而,自然语言处理的必要性还有另一个原因。那就是,像机器一样,机器学习模型和深度学习模型对数值数据最有效。数值数据对人类来说很难自然产生。很难想象我们用数字而不是语言交谈。
因此,自然语言处理与文本数据一起工作,并将其转换成数值数据,从而使机器学习模型和深度学习模型能够适用于文本数据。因此,它的存在是为了通过从人类那里获取语言的口头和书面形式,并将它们转换成机器能够理解的数据,来弥合人类和机器之间的交流差距。
得益于自然语言处理,机器能够理解并回答基于自然语言的问题、解决使用自然语言的问题以及用自然语言交流等。
03 自然语言处理的能力
自然语言处理有许多有益于人类生活的现实应用。这些应用程序属于自然语言处理的三大功能:
- 语音识别
机器能够识别自然语言的口语形式,并将其翻译成文本形式。比如智能手机上的听写,你可以启用听写功能并对着手机说话,它会将你所说的一切转换成文本。
- 自然语言理解
机器能够理解自然语言的口语和书面语。如果给机器一个命令,它就能理解并执行。例如,在你的手机上对Siri说“嘿,Siri,打电话回家”,Siri就会自动为你打电话回家。
- 自然语言生成
机器能够自己生成自然语言。例如,在手机上对Siri说“Siri,现在几点了?”Siri回复说:“现在是下午2:08”。
这三种能力用于完成和自动化许多任务。让我们来看看自然语言处理的一些应用。
注意:文本数据被称为语料库(corpora)或一个语料(corpus)。
04 自然语言处理中的应用
图1-4描述了自然语言处理的一般应用领域。
- 自动文摘
包括对语料库生成摘要。
- 翻译
要求有翻译工具,以从不同的语言翻译文本,例如,谷歌翻译。
- 情感分析
这也被称为情感的人工智能或意见挖掘,它是从书面和口头语料库中识别、提取和量化情感和情感状态的过程。情感分析工具用于处理诸如客户评论和社交媒体帖子之类的事情,以理解对特定事物的情绪反应和意见,比如新餐厅的菜品质量。
- 信息提取
这是从语料库中识别并提取重要术语的过程,称为实体。命名实体识别属于这一类,将在下一章中解释。
- 关系提取
关系提取包括从语料库中提取语义关系。语义关系发生在两个或多个实体(如人、组织和事物)之间属于许多语义类别之一。
例如,如果一个关系提取工具被赋予了关于Sundar Pichai的内容,以及他是谷歌的CEO,该工具将能够生成“Sundar Pichai就职于谷歌”作为输出,Sundar Pichai和谷歌是两个实体,“就职于”是定义它们之间关系的语义类别。
- 聊天机器人
聊天机器人是人工智能的一种形式,被设计成通过语音和文本与人类交流。它们中的大多数模仿人,使你觉得在和另一个人说话。聊天机器人在健康产业被用于帮助患有抑郁症和焦虑症的人。
- 社交媒体分析
社交媒体的应用,如Twitter和Facebook,都有标签和趋势,并使用自然语言处理来跟踪和监控这些标签和趋势,以了解世界各地正在交谈的话题。此外,自然语言通过过滤负面的、攻击性的和不恰当的评论和帖子来帮助优化过程。
- 个人语音助理
Siri、Alexa、谷歌助手以及Cortana都是个人语音助理,充分利用自然语言处理技术来理解和回应我们。
- 语法检查
语法检查软件会自动检查和纠正你的语法、标点和拼写错误。
关于作者:卡蒂克·雷迪·博卡(Karthiek Reddy Bokka),语音和音频机器学习工程师,毕业于南加州大学,目前在波特兰的 Bi-amp Systems公司工作。他的兴趣包括深度学习、数字信号和音频处理、自然语言处理以及计算机视觉。
舒班吉·霍拉(Shubhangi Hora),Python开发者、人工智能爱好者和作家。她有计算机科学和心理学背景,对与心理健康相关的人工智能特别感兴趣。
塔努吉·贾因(Tanuj Jain),在德国公司工作的数据科学家。他一直在开发深度学习模型,并将其投入生产以商用。他对自然语言处理特别感兴趣,并将自己的专业知识应用于分类和情感评级任务。
莫尼卡·瓦姆布吉(Monicah Wambugu),金融技术公司的首席数据科学家,该公司通过利用数据、机器学习和分析来提供小额贷款,以执行替代信用评分。她是加州大学伯克利分校信息管理与系统硕士研究生。
本文摘编自《基于深度学习的自然语言处理》,经出版方授权发布。
【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK
原文发布时间:2020-07-12
本文作者:Karthiek Bokka
本文来自:“大数据DT”,了解相关信息可以关注“大数据DT”
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
一分钟看懂混合云存储阵列异构虚拟化是什么
云栖号快速入门:【点击查看更多云产品快速入门】不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作! Apsara SA阵列可以实现对用户数据中心中SAN阵列的异构虚拟化,实现资源统一管理,提高客户数据中心整体性能,简化运维,同时提供高效稳定的数据保护。Apsara SA系列对异构虚拟化特性可以支持业界95%以上品牌和型号的光纤存储(和部分IP SAN),实现异构存储的统一管理,降低存储管理的出错概率,同时可以提高磁盘阵列的资源利用率,减少割裂的数据孤岛。同时还为老旧阵列提供存储性能加速,提高整体的投资回报率。 异构整合 Apsara SA阵列可以直接接管异构阵列,并对外实行透明接管,对前端业务架构实现透明切换。 • 依靠SA系列的透明接管,可以实现旧存储的无缝接入,支持业界95%以上品牌和型号的光纤存储(和部分IP SAN); • 可实现异构存储数据迁移,迁移过程无需停机,省时省力,支持回退安全可靠; • 数据100%同步后可以撤走旧存储或者继续保持镜像关系运行。 数据迁移 对于老旧和性能比较差的阵列,Apsara可以实现对旧数据的热迁移,并且可以通过无中断迁移功...
- 下一篇
研究显示,后疫情时代企业将加速向云服务迁移
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! LogicMonitor的新调查结果表明,COVID-19已成为企业快速实施云迁移的强大催化剂,尽管整体情况仍在发展。 LogicMonitor对500位全球IT决策者的研究考察了云工作负载的未来以及COVID-19对澳大利亚、新西兰、北美和英国的IT组织的长期影响。 LogicMonitor于2020年5月至2020年6月进行的Cloud 2025研究发现,全球87%的IT决策者都同意COVID-19大流行将促使组织加速向云的迁移。 具体而言,近四分之三(74%)的受访者认为,在未来五年内,所有工作负载的95%将在云中。 全世界许多IT决策者对此都更加乐观,亚太地区37%的受访者表示,到2022年95%的工作负载将在云中运行,而美国/加拿大的受访者和英国的受访者分别为35%和30% 。 这与2017年进行的类似LogicMonitor研究产生了截然不同的基调,当时13%的研究人员认为这种转变永远不会发生,而62%的受访者认为95%的工作负载在云中运行需要五年或更长时间。 LogicMo...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Linux系统CentOS6、CentOS7手动修改IP地址