首页 文章 精选 留言 我的

精选列表

搜索[自然语言],共4370篇文章
优秀的个人博客,低调大师

面向机器学习的自然语言标注2.4 语料库的规模

2.4 语料库的规模 既然你已经知道想要寻找何种类型的数据以及如何表现它,那么你还需要决定实际需要收集与标注多少数据。如果你计划使用一个已有的语料库,那么语料库的总规模已经确定,但是你可能仍然需要决定对语料库的多少内容进行标注。 一般而言,无论标注目标是什么,收集与标注的数据越多,就离达成目标越近。然而,在多数情况下,在讨论语言标注任务时“越大越好”并不是切实可行的——时间、金钱、有限的资源以及精力都可能是限制你和你的标注人员能完成标注规模的因素。 注意: 如果这是你收集数据工作的第一轮,那么最重要的事情是产生一个包含与任务有关的所有现象例子的样本语料库。 也就是说,我们建议在第一次进行文档标注时从较小的规模开始——首先为标注人员选择少量的文档,看看标注任务与标注指南是否合适(标注指南将在第6章中讨论)。一旦你已经解决了一些问题,就可以返

优秀的个人博客,低调大师

NLP自然语言处理中英文分词工具集锦与基本使用介绍

一、中文分词工具(1)Jieba (2)snowNLP分词工具 (3)thulac分词工具 (4)pynlpir 分词工具 (5)StanfordCoreNLP分词工具1.from stanfordcorenlp import StanfordCoreNLP2.with StanfordCoreNLP(r'E:UsersEternal SunPycharmProjects1venvLibstanford-corenlp-full-2018-10-05', lang='zh') as nlp: print("stanfordcorenlp分词:n",nlp.word_tokenize(Chinese))(6)Hanlp分词工具 分词结果如下: 二、英文分词工具 NLTK: 二者之间的区别在于,如果先分句再分词,那么将保留句子的独立性,即生成结果是一个二维列表,而对于直接分词来说,生成的是一个直接的一维列表,结果如下: SpaCy: StanfordCoreNLP: 分词结果

优秀的个人博客,低调大师

自然语言处理透析希拉里和特朗普各自的“演讲范儿”

◆◆◆ 数据科学可以应用到很多领域。从图像处理到人工智能,无所不能。其中之语义分析(semanticanalysis),在社交媒体监测中非常有用。本文聚焦于政治,而非推特或脸书的评论分析。 今年7月21日,唐纳德•特朗普,在俄亥俄州的克利夫兰举行的共和党全国代表大会的最后一天接受了共和党总统候选人提名。一周之后的28日,希拉里•克林顿在费城接受了民主党总统候选人提名。 在家人和成千上万粉丝的支持下,他们发表了各自的提名演讲。本文对此进行了分析,以期更好地理解这份政治通讯背后隐藏的深意。本文集中在三个特征上:词汇、风格和节奏。 ◆◆◆ 深扒词汇 评价谁使用的词汇量最大的方法之一是看演讲者用了有多少独特的词。为此需要先去除英语中没有“意义”的那些词(如“the”,“a”,“of”等)。这些词也叫停用词:具体名单可参照此链接http://

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册