《Spark与Hadoop大数据分析》——3.7 小结
3.7 小结 RDD 是 Spark 中基本的数据单元，Spark 编程就是围绕创建和执行 RDD 上的操作（如变换和动作）进行的。Apache Spark 程序可以在 shell 中交互式执行或通过提交应用程序来执行。它的并行度是由 RDD 中的分区数量决定的。而分区的数量则由 HDFS 文件中的区块数或资源管理器的类型以及用于非 HDFS 文件的配置属性决定。 在内存中缓存 RDD 对于在同一 RDD 上执行多个动作是有用的，因为它提供了更高的性能。当使用 MEMORY_ONLY选项缓存 RDD 时，没有放入内存中的分区将在需要时重新计算。如果重新计算的开销比较大，最好还是选择 MEMORY_AND_DISK 作为持久化的级别。 Spark 的应用程序可以在客户端或集群模式下提交。客户端模式用于开发和测试，而集群模式用于生产部署。S
