NLTK基础教程学习笔记（十三）-低调大师

NLTK基础教程学习笔记（十三）

2018-02-08 580

在信息摘要应用中还包含着另一种理论逻辑：重要的句子中通常包含着重要的词汇，而跨语料库的差异词（discriminatory word）绝大多数数是重要词汇。因此，句子中包含具有差异很大的词汇，它就很重要。这样就得到一个非常简单的测量方法，就是计算每一个词各种的TF-IDF（term frequency-inverse document ）分值，然后根据词汇的重要性找出一种标准化的凭据评分。这个评分就可以用来充当在信息摘要中选取句子的标准。
TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜寻引擎还会使用基于连结分析的评级方法，以确定文件在搜寻结果中出现的顺序。
按照其不拿整段介绍来做，只拿前三句来实践，我拿了前一段：

import nltk
from sklearn.feature_extraction.text import TfidfVectorizer
f=open('news.txt')
news_content=f.read()
results=[]
sentences=nltk.sent_tokenize(news_content)
vectorizer=TfidfVectorizer(norm='l2',min_df=0,use_idf=True,smooth_idf=False,sublinear_tf=True)
sklearn_binary=vectorizer.fit_transform(sentences)
print(vectorizer.get_feature_names())
print(sklearn_binary.toarray())

结果：

['accept', 'accepting', 'altria', 'and', 'announce', 'approaches', 'arthur', 'as', 'at', 'be', 'birth', 'britain', 'british', 'by', 'caliburn', 'ceremonial', 'character', 'decides', 'despite', 'destined', 'dies', 'draws', 'ector', 'eligible', 'embedded', 'enters', 'entrusted', 'explaining', 'fearing', 'fifteen', 'following', 'for', 'full', 'gender', 'growing', 'hardships', 'heir', 'her', 'hesitation', 'his', 'however', 'if', 'in', 'inspired', 'invasion', 'is', 'king', 'knight', 'known', 'large', 'leadership', 'leaving', 'legends', 'legitimate', 'loyal', 'mantle', 'merlin', 'monarch', 'name', 'nativity', 'never', 'no', 'not', 'of', 'or', 'pendragon', 'people', 'period', 'preserving', 'publicly', 'pulling', 'raises', 'recognize', 'responsible', 'ruler', 'saber', 'saxons', 'she', 'shoulders', 'sir', 'slab', 'son', 'soon', 'stone', 'subjects', 'surrogate', 'sword', 'symbolic', 'that', 'the', 'this', 'threat', 'throne', 'to', 'turmoil', 'uther', 'welfare', 'when', 'who', 'will', 'withdraws', 'without', 'woman']
[[ 0.          0.          0.15095332  0.          0.          0.
   0.31622502  0.          0.          0.          0.          0.          0.
   0.20340954  0.          0.          0.31622502  0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.31622502
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.31622502  0.          0.17386773
   0.24504638  0.          0.          0.          0.          0.
   0.31622502  0.          0.          0.          0.          0.
   0.31622502  0.          0.          0.          0.          0.15095332
   0.          0.31622502  0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.31622502  0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.15095332  0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.        ]
 [ 0.23250474  0.          0.11098857  0.          0.23250474  0.          0.
   0.14955705  0.23250474  0.          0.23250474  0.          0.          0.
   0.          0.          0.          0.23250474  0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.23250474  0.          0.          0.          0.          0.18017058
   0.          0.          0.          0.11098857  0.          0.23250474
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.
   0.23250474  0.          0.          0.          0.          0.
   0.23250474  0.23250474  0.          0.23250474  0.          0.23250474
   0.          0.          0.          0.          0.23250474  0.          0.
   0.          0.          0.18017058  0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.23250474
   0.          0.          0.          0.          0.          0.          0.
   0.          0.14955705  0.          0.18017058  0.          0.          0.
   0.14955705  0.          0.          0.23250474]
 [ 0.          0.          0.          0.          0.          0.          0.
   0.18736875  0.          0.          0.          0.          0.
   0.18736875  0.          0.          0.          0.          0.          0.
   0.          0.          0.29128766  0.          0.          0.
   0.29128766  0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.13904921  0.          0.
   0.          0.          0.          0.          0.          0.1601566
   0.          0.29128766  0.          0.          0.          0.          0.
   0.          0.29128766  0.          0.22572213  0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.29128766  0.          0.
   0.          0.          0.          0.18736875  0.          0.29128766
   0.          0.29128766  0.          0.          0.          0.29128766
   0.          0.          0.          0.          0.          0.          0.
   0.18736875  0.          0.          0.          0.          0.29128766
   0.          0.          0.          0.        ]
 [ 0.          0.          0.14155101  0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.
   0.29652856  0.          0.          0.29652856  0.          0.          0.
   0.          0.          0.29652856  0.          0.          0.          0.
   0.          0.          0.29652856  0.          0.          0.          0.
   0.          0.          0.          0.          0.16303816  0.22978336
   0.          0.29652856  0.          0.          0.29652856  0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.29652856  0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.14155101  0.          0.          0.29652856  0.19073992  0.
   0.22978336  0.          0.29652856  0.          0.          0.          0.
   0.        ]
 [ 0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.24121053  0.
   0.20022545  0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.31127497
   0.          0.          0.          0.          0.31127497  0.          0.
   0.          0.31127497  0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.31127497  0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.25158536  0.          0.          0.
   0.31127497  0.          0.          0.          0.          0.          0.
   0.          0.          0.31127497  0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.25158536  0.          0.31127497  0.          0.
   0.31127497  0.          0.          0.          0.          0.          0.
   0.          0.        ]
 [ 0.          0.          0.10632924  0.          0.          0.22274414
   0.          0.14327861  0.          0.          0.          0.
   0.22274414  0.          0.17260697  0.22274414  0.          0.          0.
   0.22274414  0.          0.          0.          0.          0.22274414
   0.          0.          0.22274414  0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.10632924
   0.          0.          0.          0.22274414  0.22274414  0.          0.
   0.          0.          0.          0.          0.22274414  0.          0.
   0.          0.          0.          0.          0.17260697  0.          0.
   0.          0.          0.          0.          0.10632924  0.          0.
   0.17260697  0.          0.          0.          0.          0.
   0.22274414  0.          0.17260697  0.          0.          0.14327861
   0.          0.          0.22274414  0.          0.22274414  0.22274414
   0.          0.          0.17260697  0.          0.22274414  0.10632924
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.14327861  0.22274414  0.          0.        ]
 [ 0.          0.24521796  0.11705736  0.19002219  0.          0.          0.
   0.          0.          0.24521796  0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.24521796  0.          0.          0.
   0.24521796  0.          0.11705736  0.          0.          0.24521796
   0.          0.          0.          0.          0.13482643  0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.24521796  0.          0.          0.          0.
   0.          0.24565801  0.          0.          0.19002219  0.
   0.24521796  0.          0.24521796  0.          0.          0.24521796
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.19002219
   0.24521796  0.          0.19819534  0.24521796  0.          0.          0.
   0.          0.          0.24521796  0.          0.          0.15773474
   0.          0.          0.        ]
 [ 0.          0.          0.          0.38872173  0.          0.          0.
   0.          0.          0.          0.          0.22958532  0.          0.
   0.22958532  0.          0.          0.          0.29627299  0.          0.
   0.29627299  0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.22958532
   0.          0.          0.          0.14142901  0.29627299  0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.29627299  0.          0.          0.          0.
   0.29627299  0.          0.          0.          0.          0.          0.
   0.          0.14142901  0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.19057553  0.29627299  0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.29627299  0.        ]]

微信关注我们

原文链接：https://yq.aliyun.com/articles/460310

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

50行代码实现人脸检测

现在的人脸识别技术已经得到了非常广泛的应用，支付领域、身份验证、美颜相机里都有它的应用。用iPhone的同学们应该对下面的功能比较熟悉 iPhone的照片中有一个“人物”的功能，能够将照片里的人脸识别出来并分类，背后的原理也是人脸识别技术。这篇文章主要介绍怎样用Python实现人脸检测。人脸检测是人脸识别的基础。人脸检测的目的是识别出照片里的人脸并定位面部特征点，人脸识别是在人脸检测的基础上进一步告诉你这个人是谁。好了，介绍就到这里。接下来，开始准备我们的环境。准备工作本文的人脸检测基于dlib，dlib依赖Boost和cmake，所以首先需要安装这些包，以Ubuntu为例： $ sudo apt-get install build-essential cmake $ sudo apt-get install libgtk-3-dev $ sudo apt-get install libboost-all-dev 我们的程序中还用到numpy，opencv，所以也需要安装这些库： $ pip install numpy $ pip install scipy $ pip ins...

2018-02-09

497

人工智能并不是一个新的术语，它已经有几十年的历史了，大约从 80 年代初开始，计算机科学家们开始设计可以学习和模仿人类行为的算法。在算法方面，最重要的算法是神经网络，由于过拟合而不是很成功（模型太强大，但数据不足）。尽管如此，在一些更具体的任务中，使用数据来适应功能的想法已经取得了显着的成功，并且这也构成了当今机器学习的基础。在模仿方面，人工智能专注于图像识别，语音识别和自然语言处理。人工智能专家们花费了大量的时间来创建诸如边缘检测，颜色配置文件， N-gram ，语法树等。不过，这些进步还不足以达到我们的需求。传统的机器学习：机器学习（ML）技术在预测中发挥了重要的作用，ML经历了多代的发展，形成了具有丰富的模型结构，例如： 1.线性回归。 2.逻辑回归。 3.决策树。 4.支持向量机。 5.贝叶斯模型。 6.正则化模型。 7.模型集成（ensemb

2018-02-10

576

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。