Spark学习之基于MLlib的机器学习
Spark学习之基于MLlib的机器学习 1. 机器学习算法尝试根据训练数据(training data)使得表示算法行为的数学目标最大化,并以此来进行预测或作出决定。 2. MLlib完成文本分类任务步骤: (1)首先用字符串RDD来表示你的消息 (2)运行MLlib中的一个特征提取(feature extraction)算法来把文本数据转换为数值特征(适合机器学习算法处理);该操作会返回一个向量RDD。 (3)对向量RDD调用分类算法(比如逻辑回归);这步会返回一个模型对象,可以使用该对象对新的数据点进行分类。 (4)使用MLlib的评估函数在测试数据集上评估模型。 3. MLlib包含的主要数据类型: Vector LabeledPoint Rating 各种Model类 4. 操作向量 向量有两种:稠密向量和稀疏向量 稠密向量:把所有维度的值存放在一个浮点数数组中 稀疏向量:只把各维度的非零值存储下来 优先考虑稀疏向量,也是关键的优化手段 创建向量的方式在各语言上有一些细微差别 5. 算法 特征提取 TF-IDF(词频——逆文档频率)使用用来从文本文档(例如网页)中生成特向量的...



