[R]高性能计算SparkR
Why SparkR
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载 。
而Spark力图整合机器学习（MLib）、图算法（GraphX）、流式计算（Spark Streaming）和数据仓库（Spark SQL）等领域，通过计算引擎Spark，弹性分布式数据集（RDD），架构出一个新的大数据应用平台。
SparkR 是一个提供轻量级前端的 R 包，在 R 的基础上加入了 Spark 的分布式计算和存储等特性。在 Spark 1.6.1 中，SparkR 提供了一个分布式数据框（DataFrame）的实现，它能够支持诸如选取、过滤和聚集等操作。这个特性与 R 语言自身提供的特性类似，但 SparkR 能够作用于更大规模的数据集。SparkR 是一个提供轻量级前端的 R 包，在 R 的基础上加入了 Spark 的分布式计算和存储等特性。汇集了spark和R本身的诸多优点，如下图。
SparkR是什么.png
SparkR的架构.png
How to use it？
- SparkR特有SparkDataFrame
SparkDataFrame的特点.png
SparkDataFrame的例子.png
SparkDataFram要实现MapReduce的函数式操作
- dapply
- dapplyCollect
- gapply
其中dapply的框架如下图所示：
dapply的框架.png
dapply 的用法：
- dapply(x,fun,schema)
- dapply(x,fun)
- 把fun函数应用到SparkDataFrame的每一个数据切片，然后把结果收集回本机成为data.frame；
- R函数的输入、输出均为data.frame
- 指定schema，R函数输出必须匹配schema
- example:
df <- creatDataFrame(sqlContext,mtcars)
df1 <- dapply(df,functuion(x){x+1},schema(df))
dapplyCollect
其中dapply的框架如下图所示：
ldf <- dapplyCollect(df,function(x){x+1})
