您现在的位置是：首页 > 文章详情

[转载] Spark Structed Streaming执行过程

日期：2018-11-29点击：587收藏

本文转自：https://www.jianshu.com/p/dcfc0b6ae0ea

本站转载已经过作者授权。任何形式的转载都请联系原作者（薛定谔的猫Plus）获得授权并注明出处。

在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。

webp

MicroBatchExecution

该部分是小批量处理，默认使用ProcessingTimeExecutor这个trigger定时出发，使用的是系统时钟.

case class ProcessingTimeExecutor(processingTime: ProcessingTime

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。