Spark Streaming概念学习系列之Spark Streaming 架构(二)
图 1 Spark Streaming 架构图 Spark Streaming组件介绍 Network Input Tracker 通 过 接 收 器 接 收 流 数 据 并将 流 数 据 映 射 为 输 入DStream。 Job Scheduler周期性地查询 DStream 图通过输入的流数据生成 Spark Job将 Spark Job 提交给 Job Manager 进行执行。 JobManager维护一个 Job 队列将队列中的 Job 提交到 Spark 进行执行。 通 过 图 1 可 以 看 到 D-Stream Lineage Graph 进 行 整 体 的 流 数 据 的 DAG 图 调度 Taskscheduler 负责具体的任务分发 Block tracker 进行块管理。在从节点如果是通过网络输入的流数据会将数据存储两份进行容错。 Input receiver 源源不断地接收输入流 Task execution 负责执行主节点分发的任务 Block manager 负责块管理。SparkStreaming 整体架构和 Spark 很相近很多思想是...