Spark的这些事<三>——spark常用的Transformations 和Actions
Transformations map，filter spark最长用的两个Transformations：map，filter，下面就来介绍一下这两个。 先看下面这张图： 从上图中可以清洗的看到 map和filter都是做的什么工作，那我们就代码演示一下。 val input = sc.parallelize(List(1,2,3,4)) val result1 = input.map(x=>x*x) val result2 = input.filter(x=>x!=1) print(result1.collect().mkString(",")) print("\n") print(result2.collect().mkString(",")) print("\n") 执行结果如下： 16/08/17 18:48:31 INFO DAGScheduler: ResultStage 0 (collect at Map.scala:17) finished in 0.093 s 16/08/17 18:48:31 INFO DAGScheduler: Job 0 fini...
