NLP入门+实战必读：一文教会你最常见的10种自然语言处理技术（附代码）-低调大师

NLP入门+实战必读：一文教会你最常见的10种自然语言处理技术（附代码）

2017-11-08 566

自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。

在这篇文章中，你将学习到最常见的10个NLP任务，以及相关资源和代码。

为什么要写这篇文章？

对于处理NLP问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类NLP问题的赛事内容学习该领域的最新发展成果，并应对NLP处理时遇到的各类状况。

因此，我决定将这些资源集中起来，打造一个对NLP常见任务提供最新相关资源的一站式解决方案。下方是文章中提到的任务列表及相关资源。那就一起开始吧。

目录:

词干提取
词形还原
词向量化
词性标注
命名实体消岐
命名实体识别
情感分析
文本语义相似分析
语种辨识
文本总结

1. 词干提取

什么是词干提

微信关注我们

原文链接：https://yq.aliyun.com/articles/236723

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

机器学习之条件随机场（CRF）

什么是CRF CRF即条件随机场（Conditional Random Fields），是在给定一组输入随机变量条件下另外一组输出随机变量的条件概率分布模型，它是一种判别式的概率无向图模型，既然是判别式，那就是对条件概率分布建模。 CRF较多用在自然语言处理和图像处理领域，在NLP中，它是用于标注和划分序列数据的概率化模型，根据CRF的定义，相对序列就是给定观测序列X和输出序列Y，然后通过定义条件概率P(Y|X)来描述模型。 CRF的输出随机变量假设是一个无向图模型或者马尔科夫随机场，而输入随机变量作为条件不假设为马尔科夫随机场，CRF的图模型结构理论上可以任意给定，但我们常见的是定义在线性链上的特殊的条件随机场，称为线性链条件随机场。概率无向图模型前面说到CRF的输出随机变量是一个概率无向图模型，那么现在看看该模型。概率无向图模型是由无向图表示的联合概率分布，假设联合概率分布P(Y)通过无向图来表示，则在图中节点表示随机变量，边表示随机变量之间的依赖关系，联合概率分布P(Y)满足马尔科夫性则称其为概率无向图模型，或者是马尔科夫随机场。如下图，图是一个由节点和边组成的结构体，无...

2017-11-08

632

来自阿里巴巴的90后工程师芦阳，用业余时间开发了一套人工智能作词程序——名字叫做MusicGo，这个程序经过芦阳的“喂养”和设定，可以自己写饶舌歌曲。芦阳加入菜鸟也才仅仅四个月，这是他第一次参加双11备战。作为一名新员工，用原创嘻哈歌曲庆祝双11的形式可谓独一无二。人工智能和双11也成为MusicGo的第一个主打的主题曲。今年的双11非常有科技感，芦阳就给MusicGo喂食了不少体现双11科技的文章，比如菜鸟智慧物流、阿里云、天巡机器人、智能客服等关键词，加上修饰韵脚，20分钟后，一首《天猫双11有嘻哈》就出炉了。大家来感受下：其实，今年双11里人工智能已经悄然成为了狂欢节的新兴“职业”。不仅50%的后台故障修复由智能机器人负责，超级机器人仓群和一天内350万的客户量都是由智能机器人和“店小蜜”来完成的，可以说今年阿里双11开启了

2017-11-08

776

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。