SparkStreaming转化操作
DStream的转化操作分为无状态 和有状态 两种 在无状态转化操作中，每个批次的处理不依赖于之前批次的数据。 有状态转化操作需要使用之前批次的数据或者中间结果来计算当前批次的数据，有状态转化操作包括基于滑动窗口的转化操作和追踪状态变化的转换操作。 无状态转化 无状态转化操作的实质就说把简单的RDD转化操作应用到每个批次上，也就是转化DStream的每一个RDD Transform算子 Transform 允许 DStream 上执行任意的 RDD-to-RDD 函数。即使这些函数并没有在 DStream 的 API 中暴露出来，通过该函数可以方便的扩展 Spark API。该函数每一批次调度一次。其实也 就是对 DStream 中的 RDD 应用转换。 def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("transform").setMaster("local[*]") val sc: StreamingContext = new StreamingCont...
