Spark-TFRecord: Spark将全面支持TFRecord

编译：江宇，阿里云EMR技术专家。从事Hadoop内核开发,目前专注于机器学习、深度学习大数据平台的建设。

简介：

在机器学习领域，Apache Spark 由于其支持 SQL 类型的操作以及高效的数据处理，被广泛的用于数据预处理流程，同时 TensorFlow 作为广受欢迎的深度学习框架被广泛的用于模型训练。尽管两个框架有一些共同支持的数据格式，但是，作为 TFRecord—TensorFlow 的原生格式，并没有被 Spark 完全支持。尽管之前有过一些尝试，试图解决两个系统之间的差异(比如 Spark-TensorFlow-Connector),但是现有的实现都缺少很多 Spark 支持的重要特性。

本文中，我们将介绍 Spark 的一个新的数据源，Spark-TFRecord。Spark-TFRecord 的目的是提供在Spar