Spark大数据处理系列之Machine Learning
本文是《Spark大数据处理》系列的第四篇,其他三篇:Spark介绍、Saprk SQL和Spark Streaming。 最近几年,机器学习、预测分析和数据科学主题得到了广泛的关注。Spark的机器学习库(Spark MLlib),包括各种机器学习算法:协同过滤算法、聚类算法、分类算法和其他算法。 在前面的《Spark大数据处理》系列文章,介绍Apache Spark框架,介绍如何使用Spark SQL库的SQL接口去访问数据,使用Spark Streaming进行实时流式数据处理和分析。 在本篇文章,作者将讨论机器学习概念以及如何使用Spark MLlib来进行预测分析。后面将会使用一个例子展示Spark MLlib在机器学习领域的强悍。 Spark机器学习API包含两个package:spark.mllib 和spark.ml。 spark.mllib包含基于弹性数据集(RDD)的原始Spark机器学习API。它提供的机器学习技术有:相关性、分类和回归、协同过滤、聚类和数据降维。 spark.ml提供建立在DataFrame的机器学习API,DataFrame是Spark SQL...