Spark的这些事<二>——几个概念
1、SparkContext [经常简称为 sc] spark app 的起点和入口，一般用来加载数据集，生成第一个 rdd。 2、定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。 加载数据集 加载数据集，这里的数据集大概分为两组: - 一种是不变的，静态数据集，大多数场景都是从数据库，文件系统上面加载进来 - 另一种是动态的数据集，一般做 streaming 应用的时候用到，大多数场景是通过 socket 来加载数据，复杂场景可以通过文件系统，akka actors，kafka，kinesis 和 一些第三方提供的 streaming api [twitter 等] 来作为数据源加载数据 处理数据 处理数据，这是重点中的重点，不过不外乎都是从三个方面来完成这里的数据清理，逻辑运算等: - 自定义的一些复杂处理函数或者第三方包 [下面我们称为函数集] - 通过 RDD 的 transform，action 和函数集来完成整个处理，计算流程 - 通过 RDD 提供的 cache，persist，checkpoint 方法把一些处理流程中的重要处理节点...
