流式计算

从spark 说起，谈谈“流式”计算的理解

spark是一个大数据分布式的计算框架，有一些并行计算的基础会更容易理解分布式计算框架的概念。对比并行计算，谈三个概念：

1. 并行计算
2. Map Reduce 算子
3. RDD数据结构

• 并行计算

spark的任务分为1个driver、多个executor。程序启动driver，driver发送执行的程序（jar）到executor，executor在多台机器并行执行。driver和executor可以理解为进程，像httpd一样，完成某些任务，接受并发送数据的进程。

不同的spark任务都需要分配driver、executor。此时，还需要提供资源管理的应用，包括计算资源和内存资源的。

我们采用YARN作为spark资源管理系统，Mesos是另一个资源管理框架。

• Map Reduce 算子

大数据与并行计算的最大区别，我认为就在map reduce算子上。

并行计算更喜欢做“关门打狗”的应用，高度并行，线程之间不做交互，例如口令破译，造表等。

spark中，用transform 和 action代替map Reduce操作。transform中的reduceByKey等操作对整体数据处理。例如，下面的代码是一个transform操作，rdd是(word,1)对象，reducebykey统计相同word出现的次数，这个操作是全局完成的。

rdd.reduceByKey((v1,v2)->v1+v2) 

• RDD数据结构

在并行计算中，需要维护一个全局数据结构，类似任务种子，每个节点维护与自己种子对应的数据片。

RDD(Resilient Distributed Datasets)，弹性分布式数据集。在spark中，RDD维护一个全局的数据对象。每个任务executor自动对应自己的数据集分片。在编写程序的时候，对executor上到底有哪些数据不用关心，数据集的分片、合并等操作都是透明的，仅需要定义整个数据集的操作。

spark 大数据应用，挑战

spark用于实现大数据分析功能。如果数据源比较大，有几十亿条，用MySQL做数据分析，可能要一天的时间，spark可能几十分钟就能给出结果（因为采用分布式计算，分布式数据集）。

传统的web服务，属于online业务。online业务要求毫秒级的响应速度，这样的业务产生额外的要求，例如对用户的阅读记录对用户的画像的影响、一个订单对全城车辆调度的影响、一个用户的动态对推荐feed流的影响。

虽然，这些操作实时性不像online业务要求毫秒，但是也是秒级的。对spark批处理提出更多要求。

Spark streaming 解决秒级响应，即流式计算

spark streaming 将spark 批处理应用，缩小为一个微批micro batch，把microbatch作为一个计算单元。

典型应用如图。大量实时业务产生的实时数据，首先放在一个队列中，例如kafka，Spark streaming 从kafka中取出micorbatch进行处理。

JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(5)); JavaReceiverInputDStream inputDStream = ssc.socketTextStream("localhost",9999, StorageLevel.MEMORY_AND_DISK()); JavaDStream<String> words = inputDStream .flatMap(s->Arrays.asList(String.valueOf(s) .split(" ")).iterator()); 

上面的代码案例，定义一个socket输入流，任务每5秒钟执行一次（微批），统计单词个数。

总结

本文是关于spark streaming流式计算理解的介绍文章。

希望读者能通过10分钟的阅读，理解spark streaming 及流式计算的原理。

文中对spark、yarn的原理没有深入讲解，有机会在后面的文章介绍。

下一篇我会根据spark streaming 官网中案例讲解JavaDStream mapWithState的练习。