您现在的位置是:首页 > 文章详情

Streaming System 第三章:Watermarks

日期:2018-12-26点击:712

简介

本章主要介绍鲁棒的处理乱序数据的核心概念,这些概念的运用使流处理系统超越批处理系统的关键所在。
本章我们从流计算系统的底层机制深入来探讨一下watermark。学习这些机制有助于我们更好理解和使用watermark。我们将讨论watermark如何生成,传播和影响输出结果的时间戳。我们还将解释,watermark如何保证结果的正确性。

本文由《Streaming System》一书第三章的提炼翻译而来,译者才疏学浅,如有错误,欢迎指正。转载请注明出处,侵权必究。

定义

对任何一个持续输入和输出数据的管道来说,我们希望知道如何判断事件时间窗口的结束。窗口结束之后,不会再有这个窗口的数据到来。
判断事件事件窗口结束的第一种方式是,按照处理事件来判断。但是真实世界中,处理事件一定比事件时间晚,并且由于各种原因导致的数据乱序问题,会导致数据进入

原文链接:https://yq.aliyun.com/articles/682873
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章