NLP入门+实战必读：一文教会你最常见的10种自然语言处理技术（附代码）-低调大师

NLP入门+实战必读：一文教会你最常见的10种自然语言处理技术（附代码）

2017-11-08 514

自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。

在这篇文章中，你将学习到最常见的10个NLP任务，以及相关资源和代码。

为什么要写这篇文章？

对于处理NLP问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类NLP问题的赛事内容学习该领域的最新发展成果，并应对NLP处理时遇到的各类状况。

因此，我决定将这些资源集中起来，打造一个对NLP常见任务提供最新相关资源的一站式解决方案。下方是文章中提到的任务列表及相关资源。那就一起开始吧。

目录:

词干提取
词形还原
词向量化
词性标注
命名实体消岐
命名实体识别
情感分析
文本语义相似分析
语种辨识
文本总结

1. 词干提取

什么是词干提

微信关注我们

原文链接：https://yq.aliyun.com/articles/236723

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

机器学习之条件随机场（CRF）

什么是CRF CRF即条件随机场（Conditional Random Fields），是在给定一组输入随机变量条件下另外一组输出随机变量的条件概率分布模型，它是一种判别式的概率无向图模型，既然是判别式，那就是对条件概率分布建模。 CRF较多用在自然语言处理和图像处理领域，在NLP中，它是用于标注和划分序列数据的概率化模型，根据CRF的定义，相对序列就是给定观测序列X和输出序列Y，然后通过定义条件概率P(Y|X)来描述模型。 CRF的输出随机变量假设是一个无向图模型或者马尔科夫随机场，而输入随机变量作为条件不假设为马尔科夫随机场，CRF的图模型结构理论上可以任意给定，但我们常见的是定义在线性链上的特殊的条件随机场，称为线性链条件随机场。概率无向图模型前面说到CRF的输出随机变量是一个概率无向图模型，那么现在看看该模型。概率无向图模型是由无向图表示的联合概率分布，假设联合概率分布P(Y)通过无向图来表示，则在图中节点表示随机变量，边表示随机变量之间的依赖关系，联合概率分布P(Y)满足马尔科夫性则称其为概率无向图模型，或者是马尔科夫随机场。如下图，图是一个由节点和边组成的结构体，无...

2017-11-09

541

来自阿里巴巴的90后工程师芦阳，用业余时间开发了一套人工智能作词程序——名字叫做MusicGo，这个程序经过芦阳的“喂养”和设定，可以自己写饶舌歌曲。芦阳加入菜鸟也才仅仅四个月，这是他第一次参加双11备战。作为一名新员工，用原创嘻哈歌曲庆祝双11的形式可谓独一无二。人工智能和双11也成为MusicGo的第一个主打的主题曲。今年的双11非常有科技感，芦阳就给MusicGo喂食了不少体现双11科技的文章，比如菜鸟智慧物流、阿里云、天巡机器人、智能客服等关键词，加上修饰韵脚，20分钟后，一首《天猫双11有嘻哈》就出炉了。大家来感受下：其实，今年双11里人工智能已经悄然成为了狂欢节的新兴“职业”。不仅50%的后台故障修复由智能机器人负责，超级机器人仓群和一天内350万的客户量都是由智能机器人和“店小蜜”来完成的，可以说今年阿里双11开启了

2017-11-09

712

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。