谈谈流计算中的『Exactly Once』特性-低调大师

谈谈流计算中的『Exactly Once』特性

2019-06-19 693

作者：宝牛

本文翻译自 streaml.io 网站上的一篇博文：“Exactly once is NOT exactly the same” ，分析了流计算系统中常说的『Exactly Once』特性，主要观点是：『精确一次』并不保证是完全一样。主要内容如下：

背景

1.1. 最多一次（At-most-once）
1.2. 至少一次（At-least-once）
1.3. 精确一次（Exactly-once）

『精确一次』是真正的『精确一次』吗?
分布式快照与至少一次事件传递和重复数据删除的比较
结论
参考

目前市面上使用较多的流计算系统有 Apache Storm，Apache Flink, Heron, Apache Kafka (Kafka Streams) 和 Apache Spark (Spark Streaming)。关于流计算系统有个被

微信关注我们

原文链接：https://yq.aliyun.com/articles/706012

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

作者：陈越晨整理：刘河本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战，以及平台构建化流程。主要内容如下：爱奇艺在实时计算方面的的演化和遇到的一些挑战爱奇艺使用Flink的User Case 爱奇艺Flink平台化构建流程爱奇艺在Flink上的改进未来工作爱奇艺简介爱奇艺在2010年正式上线，于2018年3月份在纳斯达克上市。我们拥有规模庞大且高度活跃的用户基础，月活跃用户数5.65亿人，在在线视频领域名列第一。在移动端，爱奇艺月度总有效时长59.08亿小时，稳居中国APP榜第三名。一、爱奇艺在实时计算方面的演化和遇到的一些挑战 1. 实时计算在爱奇艺的演化过程实时计算是基于一些实时到达、速率不可控、到达次序独立不保证顺序、一经处理无法重放除非特意保存的无

2019-06-20

734

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展，融合Solr检索等技术，支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack能够构建一体化的数据处理平台，支持风控、推荐、检索、画像、社交、物联网、时空、表单查询、离线数仓等场景，助力企业数据智能化。下面是业界广泛应用的大数据中台架构，其中HBase&Spark选择云HBase X-Pack产品相关用户文档,购买页面: 消息流入：Flume、Logstash、或者在线库的binlog流入消息中间件Kafka 实时计算：通过X-Pack Spark Streaming实时的消费Kafka的消息，写入到云HBase中对外提供在线查询实时存储与检索：云HBase融合solr以及phoenix sql层能够提供

2019-06-20

925

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。