《Storm分布式实时计算模式》——1.6　有保障机制的数据处理-低调大师

《Storm分布式实时计算模式》——1.6　有保障机制的数据处理

2017-07-02 585

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第1章，第1.6节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.6　有保障机制的数据处理

Storm提供了一种API能够保证spout发送出来的每个tuple都能够执行完整的处理过程。在我们上面的例子中，不担心执行失败的情况。可以看到在一个topology中一个spout的数据流会被分割生成任意多的数据流，取决于下游bolt的行为。如果发生了执行失败会怎样？举个例子，考虑一个负责将数据持久化到数据库的bolt。怎样处理数据库更新失败的情况？
1.6.1　spout的可靠性

在Storm中，可靠的消息处理机制是从spout开始的。一个提供了可靠的处理机制的spout需要记录它发射出去的tupl

微信关注我们

原文链接：https://yq.aliyun.com/articles/118221

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop集群与安全》一2.1　在Hadoop集群中配置操作系统

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第2章，第2.1节，作者（美）Danil Zburivsky Sudheesh Narayanan，更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.1　在Hadoop集群中配置操作系统正如之前所提到的，Hadoop能够运行在几乎所有Linux版本的系统上。本章随后的讲解会将重点放在CentOS 6.x上，CentOS和Red Hat是Hadoop相关产品安装最为普及的平台。要掌握这些步骤并不难，对于Debian系统所有与配置Hadoop组件的步骤都是一致的，因此读者可以根据自身需求替换对应的包管理器。 2.1.1　选择和设置文件系统现代Linux系统支持多种不同的文件系统：如EXT3、EXT4、XFS、BTRFS，等等。针对特定的工作负载，这些文件系统具有略微不同的差

2017-07-03

556

随着Hadoop的数据湖获得更多的定义和部署，现在开始看起来将与现有的数据仓库技术共存。而混合型数据架构这样一种观点出现在加利福尼亚州圣迭戈召开的2016企业数据世界会议上。 “这不是一个有或没有的事情，而是一个共同存在的事情。”纽约咨询公司CasertaConcepts公司总裁兼首席执行官乔治·卡塞塔在2016年EDW大会上表示，“企业的数据仓库不会消失。即使当我们正在关注Hadoop和Spark和其他所有闪亮的新事物，它仍然存在。” 但是数据湖在大数据科学和分析应用中找到了用武之地。乔治·卡塞塔表示，基于Hadoop的数据湖通常首先要处理大量和快速到达的大量非结构化数据。卡塞塔和其他专家表示，数据湖是大数据的趋势，将为数据专业人员熟悉实践的重要组成部分带来改变。 “我们采数据仓库创建了第一个数据模型，但这已经发生了变化，“卡塞塔说。随着数据湖的采用，这些模型都已落后。“我们不这样做，马上就落后了。”他说。分析和应用其中的一个原因是数据湖与实时数据流关联。随着分析使得业务应用更加紧密，并成为了实时决策的一部分，数据需要尽快地创建和访问。卡塞塔说，这也使得它与数据仓库的工作有很大的...

2017-07-03

569

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。