Storm概念学习系列之事务-低调大师

Storm概念学习系列之事务

2017-11-19 512

事务

　　这里的事务是专门针对Topology提出来的，是为了解决元组在处理失败重新发送后的一系列问题的。简而言之，事务拓扑（transactional topology）就是指Storm以并行和顺序处理混合的方式处理元组，一方面是处理消息，将消息分为一批批，并行处理同一批内的消息以及批与批之间的消息；另一方面是提交消息，按严格的顺序提交，总之实现对消息精确的处理。

（1）事务拓扑的特点
事务性拓扑这一特性使消息在语义上确保能够以安全的方式重发消息，并保证它们只被处理一次。在不支持事务性拓扑的情况下，无法在保证准确性、可扩展性、容错性的前提下完成计算。
（2）事务拓扑的目的
事务拓扑的目的是满足对消息处理有着极其严格要求的场景，如实时计算某个用户的页面点击次数，要求结果完全精确。
（3）事务拓扑的原理
事务拓扑是Storm 0.7引入的特性，0.8之后版本已经被封装为Trident，提供了更加方便和直观的接口。
Storm的事务拓扑是完全基于底层的Spout/Bolt/Acker原语实现的，通过一层巧妙的封装得出一个优雅的实现，这也是Storm最大的魅力之一。
Storm使用ZooKeeper储存事务元数据，默认就是拓扑使用的ZooKeeper。可以通过修改transactional.zookeeper.servers和transactional.zookeeper.port配置参数键指定其他的ZooKeeper。
在使用事务性拓扑时，数据源要能够重发，有时候甚至要重复多次，因此需要确认数据源Spout是否具备这项能力。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5989741.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370785

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm概念学习系列之数据流模型、Storm数据流模型

数据流模型数据流模型是由数据流、数据处理任务、数据节点、数据处理任务实例等构成的一种数据模型。本节将介绍的数据流模型如图1所示。分布式流处理系统由多个数据处理节点（node）组成，每个数据处理节点上运行有多个数据任务实例，每个数据任务实例属于一个数据任务定义。任务实例是在任务定义的基础上，添加了输入流过滤条件和强制输出周期属性后，可实际推送到数据处理节点上运行的逻辑实体；数据任务定义包含输入数据流、数据处理逻辑和输出数据流属性。数据流模型简介首先介绍数据流模型中的一些重要概念。1. 数据流数据流是时间分布和数量上无限的一系列数据记录的集合体。数据记录是数据流的最小组成单元，每条数据记录包括三类数据：数据流名称（stream name）、标识数据（key）和具体数据处理逻辑所需的数据（value）。图1 数据流处理流程图 2. 定义数据处理任务定义数据处理任务只是定义一个数据处理任务的基本属性，任务还无法直接执行，必须将其实现为具体的任务实例。数据处理任务的基本属性包括输入流、输出流和数据处理逻辑。（1）输入流（可选）输入流描述该任务依赖哪些数据流作为输...

2017-11-20

770

Stream消息流是Storm中最关键的抽象，是一个没有边界的Tuple序列。 Stream Grouping 消息流组是用来定义一个流如何分配到Tuple到Bolt。 Stream消息流和Stream Grouping消息流组 Storm核心的抽象概念是“流”。流是一个分布式并行创建和处理的无界的连续元组（Tuple）。流通过给流元组中字段命名来定义。在默认情况下，元组可以包含整型、长整型、短整型、字节、字符串、双精度浮点数、单精度浮点数、布尔型和字节数组。 Stream消息流Stream消息流是Storm中最关键的抽象，是一个没有边界的Tuple序列，这些Tuple以分布式的方式并行地创建和处理。源源不断传递的元组Tuple就组成了流Stream，定义消息流主要是定义消息流中的Tuple。Tuple的定义在前面的博文已经做了详细介绍，本博文不再累述。消息流Tuple中的每个字段都有一个名字，并且不同Tuple对应字段的类型必须相同。两个Tuple的第一个字段的类型必须相同，第二个字段的类型必须相同，但是第一个字段和第二个字段可以有不同的类型。每个消息流在定义时都会分配...

2017-11-20

525

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Storm概念学习系列之事务