使用朴素贝叶斯进行文本的分类

词袋(Bag of Words)表征

词袋模型是在自然语言处理和信息检索中的一种简单假设。在这种模型中，文本（段落或者文档）被看作是无序的词汇集合，忽略语法甚至是单词的顺序。
词袋模型被用在文本分类的一些方法当中。当传统的贝叶斯分类被应用到文本当中时，贝叶斯中的条件独立性假设导致词袋模型。
scikit-learn提供了一些实用工具可以用最常见的方式从文本内容中抽取数值特征，比如说：

• 标记（tokenizing）文本以及为每一个可能的标记(token)分配的一个整型ID，例如用空格和标点符号作为标记的分割符（中文的话涉及到分词的问题）
• 计数（counting）标记(token)在每个文本中的出现频率
• 在大多数样本/文档中都出现的标记的重要性递减过程中，进行标准化(normalizing)和加权(weighting)
  我们将上面这个从一堆文本文件转化成数值特征向量的过程的策略称为词袋

在这种策略下，特征和样本定义如下：
将每个独立的标记(token)的出现频率（不管是否标准化）看做是特征
给定一个文档的所有标记的频率构成向量看做是一个多变量的样本
这样一个文本的语料库就可以表征为一个矩阵，其中每一行代表了一个文档，而每一列代表了在该语料库中出现的一个标记词。

文本可以用词语的出现频率表征，这样可以完全忽略词在文本中的相对位置信息，这一点应该就保证了贝叶斯的条件独立性。

稀疏性

大多数文档通常只会使用语料库中所有词的一个子集，因而产生的矩阵将有许多特征值是0（通常99%以上都是0）。
例如，一组10,000个短文本（比如email）会使用100,000的词汇总量，而每个文档会使用100到1,000个唯一的词。
为了能够在内存中存储这个矩阵，同时也提供矩阵/向量代数运算的速度，通常会使用稀疏表征例如在scipy.sparse包中提供的表征。

文本特征提取的接口

sklearn.feature_extraction.text提供了以下构建特征向量的工具：

• feature_extraction.text.CountVectorizer([...]) Convert a collection of text documents to a matrix of token counts
• feature_extraction.text.HashingVectorizer([...]) Convert a collection of text documents to a matrix of token occurrences
• feature_extraction.text.TfidfTransformer([...]) Transform a count matrix to a normalized tf or tf-idf representation
• feature_extraction.text.TfidfVectorizer([...]) Convert a collection of raw documents to a matrix of TF-IDF features.

解释：

• CountVectorizer方法构建单词的字典，每个单词实例被转换为特征向量的一个数值特征，每个元素是特定单词在文本中出现的次数
• HashingVectorizer方法实现了一个哈希函数，将标记映射为特征的索引，其特征的计算同CountVectorizer方法
• TfidfVectorizer使用了一个高级的计算方法，称为Term Frequency Inverse Document
  Frequency (TF-IDF)。这是一个衡量一个词在文本或语料中重要性的统计方法。直觉上讲，该方法通过比较在整个语料库的词的频率，寻求在当前文档中频率较高的词。这是一种将结果进行标准化的方法，可以避免因为有些词出现太过频繁而对一个实例的特征化作用不大的情况(我猜测比如a和and在英语中出现的频率比较高，但是它们对于表征一个文本的作用没有什么作用)

构建朴素贝叶斯分类器

由于我们使用词的出现次数作为特征，可以用多项分布来描述这一特征。在sklearn中使用sklearn.naive_bayes模块的MultinomialNB类来构建分类器。
我们使用Pipeline这个类来构建包含量化器(vectorizers)和分类器的复合分类器(compound classifer)。

1 nbc_4 = Pipeline([ 
2 ('vect', TfidfVectorizer( 
3 token_pattern=ur"\b[a-z0-9_\-\.]+[a-z][a-z0-9_\-\.]+\b", 
4 )), 
5 ('clf', MultinomialNB()), 
6 ]) 
7 
8 evaluate_cross_validation(nbc_4, X_train, Y_train, 5)

[ 0.86478126 0.85461776 0.84489616 0.85505966 0.85234306]
Mean score: 0.854 (+/-0.003)

这个分数已经比之前的0.839提高了一些了。

优化省略词参数

TfidfVectorizer的一个参数stop_words这个参数指定的词将被省略不计入到标记词的列表中，比如一些出现频率很高的词，但是这些词对于特定的主题不能提供任何的先验支持。

 1 def get_stop_words(): 
 2 result = set() 
 3 for line in open('stopwords_en.txt', 'r').readlines(): 
 4 result.add(line.strip()) 
 5 return result 
 6 
 7 stop_words = get_stop_words() 
 8 nbc_5 = Pipeline([ 
 9 ('vect', TfidfVectorizer( 
10 stop_words=stop_words, 
11 token_pattern=ur"\b[a-z0-9_\-\.]+[a-z][a-z0-9_\-\.]+\b", 
12 )), 
13 ('clf', MultinomialNB()), 
14 ]) 
15 
16 evaluate_cross_validation(nbc_5, X_train, Y_train, 5)

[ 0.88731772 0.88731772 0.878038 0.88466637 0.88107869]
Mean score: 0.884 (+/-0.002)

分数又提升到了0.884。

优化贝叶斯分类器的alpha参数

MultinomialNB有一个alpha参数，该参数是一个平滑参数，默认是1.0，我们将其设为0.01。

1 nbc_6 = Pipeline([ 
2 ('vect', TfidfVectorizer( 
3 stop_words=stop_words, 
4 token_pattern=ur"\b[a-z0-9_\-\.]+[a-z][a-z0-9_\-\.]+\b", 
5 )), 
6 ('clf', MultinomialNB(alpha=0.01)), 
7 ]) 
8 
9 evaluate_cross_validation(nbc_6, X_train, Y_train, 5)

[ 0.91073796 0.92532037 0.91604065 0.91294741 0.91202476]
Mean score: 0.915 (+/-0.003)

这下分数已经优化的很好了。

评估分类器性能

我们通过交叉验证得到了效果比较好的分类器参数，下面我们可以用该分类器来测试我们的测试数据了。

 1 from sklearn import metrics 
 2 nbc_6.fit(X_train, Y_train) 
 3 print "Accuracy on training set:" 
 4 print nbc_6.score(X_train, Y_train) 
 5 print "Accuracy on testing set:" 
 6 print nbc_6.score(X_test,Y_test) 
 7 y_predict = nbc_6.predict(X_test) 
 8 print "Classification Report:" 
 9 print metrics.classification_report(Y_test,y_predict) 
10 print "Confusion Matrix:" 
11 print metrics.confusion_matrix(Y_test,y_predict)

这里只输出准确率:

Accuracy on training set:
0.997701962171
Accuracy on testing set:
0.846919808816

参考资料

wiki:词袋模型