Spark机器学习实战 (十一) - 文本情感分类项目实战
0 相关源码
将结合前述知识进行综合实战,以达到所学即所用。文本情感分类这个项目会将分类算法、文本特征提取算法等进行关联,使大家能够对Spark的具体应用有一个整体的感知与了解。
1 项目总体概况
2 数据集概述
3 数据预处理
4 文本特征提取
提取,转换和选择特征
本节介绍了使用特征的算法,大致分为以下几组:
- 提取:从“原始”数据中提取特征
- 转换:缩放,转换或修改特征
- 选择:从中选择一个子集一组更大的特征局部敏感散列(LSH):这类算法将特征变换的各个方面与其他算法相结合。
(TF-IDF) 是在文本挖掘中广泛使用的特征向量化方法,以反映术语对语料库中的文档的重要性。
用t表示一个术语,用d表示文档,用D表示语料库。术语频率TF(t,d)是术语t出现在文档d中的次数,而文档频率DF(t,D)是包含术语的文档数T
如果我们仅使用术语


