首页 文章 精选 留言 我的

精选列表

搜索[智能开发平台],共10000篇文章
优秀的个人博客,低调大师

《中国人工智能学会通讯》——1.17 自然语言理解

1.17 自然语言理解 自然语言理解的目的是为聊天任务生成一种语义表示形式[8] 。通常来说,聊天机器人系统中的自然语言理解功能包括用户意图识别、用户情感识别、指代消解、省略恢复、回复确认及拒识判断等技术。 1)用户意图识别:用户意图又包括显式意图和隐式意图,显示意图通常对应一个明确的需求,如用户输入“我想预定一个标准间”,明确表明了想要预定房间的意图;而隐式意图则较难判断,如用户输入“我的手机用了三年了”,有可能想要换一个手机或者显示其手机性能和质量良好。 2)用户情感识别:用户情感同样也包含显式和隐式两种,如用户输入“我今天非常高兴”,明确表明了喜悦的情感;而“今天考试刚刚及格”,则不太容易判断用户的情感。 3)指代消解和省略恢复:在对话过程中,由于人们之间具备聊天主题背景一致性的前提,用户通常使用代词来指代上文中的某个实体或事件,或者干脆省略一部分句子成分。但对于聊天机器人系统来说只有明确了代词指代的成分以及句子中省略的成分,才能正确理解用户的输入,给出合乎上下文语义的回复。因此需要进行代词的消解和省略的恢复。 4)回复确认:用户意图有时会带有一定的模糊性,这时就需要系统具有主动询问的功能,进而对模糊的意图进行确认,即回复确认。 5)拒识判断:聊天机器人系统应当具备一定的拒识能力,主动拒绝识别超出自身回复范围之外或者涉及敏感话题的用户输入。 当然,词法分析、句法分析以及语义分析等基本的自然语言处理技术,对于聊天机器人系统中的自然语言理解功能也起到了至关重要的作用。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——6.19 文本情感分析定义

6.19 文本情感分析定义 文本情感分析[1-2]是自然语言处理研究的一个热点,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。按照 Liu [2] 对情感的定义,情感表达由四个元素构成,分别是 [Holder,Target,Polarity,Time],其中文本发表的时间通常可以使用简单的规则获取,因此情感分析的目标通常是从无结构的文本中自动分析出 Holder(观点持有人)、Target(评价对象)、Polarity(极性)三元素。Holder 是观点的发出者;Target 是该观点评价的对象(如实体或实体的属性,或者话题);Polarity 是所表达的情感类别,由于任务不同,情感类别体系会不同,通常包括褒贬、褒贬中、喜怒哀乐悲恐惊、情感打分(如 1~5 分)等分类体系。文本中的情感又分为显式情感及隐式情感,显式情感是指包含明显情感词语(例如高兴、漂亮)的情感文本;隐式情感是指不包含情感词语的情感文本( 例如“这个桌子上面一层灰”)。由于隐式情感分析难度较大,比较依赖于背景知识及常识知识,目前许多工作集中在显示情感分析研究。目前的情感分析研究可归纳为情感资源构建、情感元素抽取、情感分类及情感分析应用系统,具体见图 1。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——7.3 分布式表示

7.3 分布式表示 深度学习最早在自然语言处理中的应用是神经网络语言模型[4] ,其背后的一个基本假设是使用低维、稠密、连续的向量表示词汇,又被称为分布式词表示(Distributed Word Representation)或词嵌入(Word Embedding)。从直觉上来讲,使用该项技术,可以将相似的词汇表示为相似的向量,如“马铃薯”和“土豆”的词向量比较相似。这样,如果我们在训练数据中只观察到了“马铃薯”,即使在测试时出现了“土豆”,也能通过词向量判断其与“马铃薯”比较相似,从而在一定程度上缓解了自然语言处理中常见的数据稀疏问题。 在理论上,将原有高维、稀疏、离散的词汇表示方法(又称为 One-hot 表示)映射为分布式表示是一种降维方法,可有效克服机器学习中的“维数灾难(Curse of Dimensionality)”问题,从而获得更好的学习效果。同时这种分布式表示的表达能力更强,理论上其表达能力与其维度成指数关系,而传统离散表示是线性关系。另外一种对分布式词表示的理解是,不同维度表示了词的不同主题,各维度上的数值表示了一个词对于不同主题的权重,这相当于将原来线性不可分的一个词抽取出其各个属性,从而更有利于分类(最终还是线性分类)。这就好比我们要区分不同种族的人,只通过人名(相当于传统的离散词表示方式)不好区分,而如果能将每个人抽取出各种“属性 - 值”对(相当于转换为分布式词表示),如眼睛的颜色、鼻子的高度等,就更容易进行人种的区分了。 分布式词表示近年来被广泛应用于自然语言处理中,通常有直接和间接两种应用方式。所谓直接应用,即使用学习到的分布词表示进行词语之间的相似度计算或者句法语义关系的学习。事实上,对词语之间相似度的表达能力,也一度被用于评价学习获得的分布式词表示,常用的评测集有WordSim-353 ( 英文 ) 等。 另一方面,分布式词表示能够在一定程度上表达特定的句法语义关系则是其另一个非常有趣的性质。这种性质首先由 Mikolov et al 发现[5] ,他们通过对数据的观察,发现满足相同句法或语义关系的两个词对,其分布式表示的差向量也非常接近,如V(Woman)-V(Man)≈V(Queen)-V(King)。这意味着,只需要通过简单的向量运算,就可以表达词汇之间所蕴含的句法或语义关系。该性质后来被广泛应用于知识图谱(Knowledge Graph)或本体(Ontology)的构建等任务[6] 。 分布式词表示的另一方面应用为间接应用,即将其作为上层系统的输入,利用该表示的各种优秀性质,提高上层系统的准确率。最简单的做法是将分布式词表示作为额外的特征输入给上层系统[7] ,这样上层系统可以不进行任何修改,仍然使用传统的线性模型,通过分布式词表示增强词汇特征的泛化能力,提高准确率。另一种做法是将上层系统替换为多层非线性神经网络模型,这样分布式词表示在作为特征输入给系统的同时,也可以通过反向传播机制进行微调(Fine-tuning),从而更加适用于具体的自然语言处理任务。

优秀的个人博客,低调大师

《中国人工智能学会通讯》——12.5 并行序列模式挖掘

12.5 并行序列模式挖掘 早期的并行序列模式挖掘算法大多被用于解决算法效率低下的问题。因此,许多并行算法是由其串行版本改进得到。例如,Zaki [28] 扩展了由他自己提出的 SPADE 算法,提出了在内存共享框架下的并行算法 pSPADE。pSPADE 的并行性主要来源于对垂直格式数据库的划分,这种划分既可以横向也可以纵向,最终实现了并行。采用了相似策略的算法还有 Par-ASP [29] 和 Par-CSP [30] 等。 近年来,随着数据量的不断增大、数据类型的不断变化,以及新型并行计算框架(如 HadoopMapReduce 和 Spark)的不断涌现,并行序列模式挖掘算法开始面向更大的数据及更加复杂的应用。Berberich 等人[31]提出了基于 MapReduce 的并行序列模式挖掘算法,从大规模的文本语料中挖掘 n元语法模式。Miliaraki 等人[32]考虑了更为复杂的带有间隔约束的序列模式挖掘问题,提出了基于MapReduce 的大规模带间隔约束的并行序列模式算法 MS-FSM。该算法提出了一系列对序列集合的改写方法,使得在 MapReduce 的任务划分更加平衡,从而取得更好的并行效率。Beedkar 等人[33]又继续对 MS-FSM 算法进行扩展,解决更为复杂的带有层次结构的间隔约束序列模式挖掘问题。所提出的LASH算法在大规模文本数据集上的实验结果显示,当数据具有或者不具有层次结构时,LASH 算法的表现均优于 MS-FSM 算法。我们最近的工作将序列模式挖掘技术与基于线段树的索引技术相结合,实际用于我国证券市场“老鼠仓”发现应用中,实现了基于 MapReduce 和 Spark 的高可扩展趋同行为发现并行算法,将同等规模任务的运行时间从“天”级缩短到分钟级。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册