通过Spark Streaming从TCP协议中获取实时流数据(scala测试代码)
scala的简单实现: package lab2012 import org.apache.spark._ import org.apache.spark.streaming._ object WaitToGetWordFromTCP { def main(args: Array[String]): Unit = { // Spark Streaming程序以StreamingContext为起点,其内部维持了一个SparkContext的实例。 // 这里我们创建一个带有两个本地线程的StreamingContext,并设置批处理间隔为8秒。 val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount") val ssc = new StreamingContext(conf, Seconds(1)) // 在一个Spark应用中默认只允许有一个SparkContext,默认地spark-shell已经为我们创建好了 // SparkContext,名为sc。因此在spark-shell中...
