Apache Spark机器学习.2.2 数据清洗

2.2 数据清洗

在本节中，我们将回顾一些Spark平台上的数据清洗方法，重点关注数据不完备性。然后，我们将讨论一些Spark数据清洗方面的特殊特征，以及一些基于Spark平台更加容易的数据清洗解决方案。

学习完本节，我们将能够完成数据清洗，并为机器学习准备好数据集。

2.2.1 处理数据不完备性

对于机器学习，数据越多越好。然而，通常数据越多，“脏数据”也会越多——这意味着会有更多的数据清洗工作。

数据质量控制可能会有许多问题需要处理，有些问题可能很简单，如数据输入错误或者数据复制。原则上，解决他们的方法是类似的——例如，利用数据逻辑来实现探索和获取项目的本质知识，利用分析逻辑来纠正他们。为此，在本节中，我们将重点关注缺失值处理，以便说明在这个主题上Spark的使用方法。数据清洗涵盖了数据的准确性、完整性、独特性、时效性和一致性。

虽然听起