0 相关源码

将结合前述知识进行综合实战，以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联，使大家能够对Spark的具体应用有一个整体的感知与了解。

1 项目总体概况

2 数据集概述

• 数据集
  

3 数据预处理

4 文本特征提取

• 官方文档介绍
  

提取，转换和选择特征
本节介绍了使用特征的算法，大致分为以下几组：

• 提取：从“原始”数据中提取特征
• 转换：缩放，转换或修改特征
• 选择：从中选择一个子集一组更大的特征局部敏感散列（LSH）：这类算法将特征变换的各个方面与其他算法相结合。
  (TF-IDF) 是在文本挖掘中广泛使用的特征向量化方法，以反映术语对语料库中的文档的重要性。

用t表示一个术语，用d表示文档，用D表示语料库。术语频率TF（t，d）是术语t出现在文档d中的次数，而文档频率DF（t，D）是包含术语的文档数T

如果我们仅使用术语