Spark基础 --RDD详解
RDD算子分为两类：Transformation和Action，如下图，记住这张图，走遍天下都不怕。 Transformation：将一个RDD通过一种规则映射为另外一个RDD。 Action：返回结果或保存结果。 注意：只有action才触发程序的执行，transformation不触发执行。 RDD的操作种类有多个，分为： 单指RDD操作、Key/Value RDD操作、多个RDD联合操作，其他操作。 单值RDD 1. Map map (f: T => U) : RDD[U] ，其中f定义了类型为T的元素到类型为U 的元素的映射，RDD[T] => RDD[U]的变换 举例： var rdd=sc.makeRDD(1 to 7,3) 简写为 rdd.map(_+1) //rdd.map(x=>x+1) 2. collect collect(): Array[T]，T是RDD中元素类型，将RDD转化为数组。 举例： val rdd = sc.makeRDD(1 to 7, 3) rdd.collect() 注意：此算子非常危险，他会将所有RDD中的数据...
