《NLTK基础教程——用NLTK和Python库构建机器学习应用》——第1章　自然语言处理简介-低调大师

《NLTK基础教程——用NLTK和Python库构建机器学习应用》——第1章　自然语言处理简介

2017-05-01 564

本节书摘来异步社区《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书中的第1章，作者：Nitin Hardeniya，更多章节内容可以访问云栖社区“异步社区”公众号查看。

第1章　自然语言处理简介

NLTK基础教程——用NLTK和Python库构建机器学习应用
现在，让我们先从介绍自然语言处理（NLP）开始吧。众所周知，语言是人们日常生活的核心部分，任何与语言问题相关的工作都会显得非常有意思。希望这本书能带你领略到NLP的风采，并引起学习NLP的兴趣。首先，我们需要来了解一下该领域中的一些令人惊叹的概念，并在工作中实际尝试一些具有挑战性的NLP应用。

在英语环境中，语言处理研究这一领域通常被简称为NLP。对语言有深入研究的人通常被叫作语言学家，而“计算机语言学家”这个专用名词则指的是将计算机科学应用于语言处理领域的人。因此从本质上来说，一个计算机语言学家应该既有足够的语言理解能力，同时还可以用其计算机技能来模拟出语言的不同方面。虽然计算机语言学家主要研究的是语言处理理论，但NLP无疑是对计算机语言学的具体应用。

NLP多数情况下指的是计算机上各种大同小异的语言处理应用，以及用NLP技术所构建的实际应用程序。在实践中，NLP与教孩子学语言的过程非常类似。其大多数任务（如对单词、语句的理解，形成语法和结构都正确的语句等）对于人类而言都是非常自然的能力。但对于NLP来说，其中有一些任务就必须要转向标识化处理、语块分解、词性标注、语法解析、机器翻译及语音识别等这些领域的一部分，且这些任务有一大部分还仍是当前计算机领域中非常棘手的挑战。在本书中，我们将更侧重于讨论NLP的实用方面，因此我们会假设读者在NLP上已经有了一些背景知识。所以，读者最好在最低限度上对编程语言有一点了解，并对NLP和语言学有一定的兴趣。

在阅读完本章之后，我们希望读者能掌握以下内容。

对NLP及其相关概念有个基本的了解。
完成Python和NLTK及其他库的安装。
编写一些非常基本的Python和NLTK代码片段。
如果你从来没有接触过NLP这个概念词，我们在下面给你推荐了两本书，请花一些时间阅读一下其中的任何一本——只需要看看它们的前几章即可。另外，你也应该快速浏览一下维基百科上与NLP相关的页面。

《Speech and Language Processing》，由Daniel Jurafsky与James H. Martin合著。
《Statistical Natural Language Processing》，由Christopher D. Manning与Hinrich Schütze合著。

微信关注我们

原文链接：https://yq.aliyun.com/articles/97373

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

面向机器学习的自然语言标注2.3 整合数据集

2.3 整合数据集我们已经讨论整合数据集时需要考虑的一些问题：标注任务的范围、已有语料库是否含有对你有用的文档与标注信息、数据来源的多样化。如果你计划将你的数据集公开，请确定你已经拥有对所标注信息向第三方重新发布的许可。有时可以仅发布独立的标注信息和从网站上收集数据的代码段，但最佳且最简单的方式是直接向内容提供者申请许可，尤其是当语料库和标注信息将用于商业而不是纯粹的教育目的时。语料库构建指南语料库语言学家John Sinclair（约翰·辛克莱尔）就构建语言学语料库提出了一些指南。尽管这些指南主要针对设计以语言现象研究为目的的语料库，但它们对任何构建语料库感兴趣的人都会有所帮助。论文全文可从http://www.ahds.ac.uk/creating/guides/linguistic-corpora/chapter1.htm下

2017-05-02

514

2.4 语料库的规模既然你已经知道想要寻找何种类型的数据以及如何表现它，那么你还需要决定实际需要收集与标注多少数据。如果你计划使用一个已有的语料库，那么语料库的总规模已经确定，但是你可能仍然需要决定对语料库的多少内容进行标注。一般而言，无论标注目标是什么，收集与标注的数据越多，就离达成目标越近。然而，在多数情况下，在讨论语言标注任务时“越大越好”并不是切实可行的——时间、金钱、有限的资源以及精力都可能是限制你和你的标注人员能完成标注规模的因素。注意：如果这是你收集数据工作的第一轮，那么最重要的事情是产生一个包含与任务有关的所有现象例子的样本语料库。也就是说，我们建议在第一次进行文档标注时从较小的规模开始——首先为标注人员选择少量的文档，看看标注任务与标注指南是否合适（标注指南将在第6章中讨论）。一旦你已经解决了一些问题，就可以返

2017-05-02

607

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。