《Storm分布式实时计算模式》——1.6　有保障机制的数据处理-低调大师

《Storm分布式实时计算模式》——1.6　有保障机制的数据处理

2017-07-02 568

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第1章，第1.6节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.6　有保障机制的数据处理

Storm提供了一种API能够保证spout发送出来的每个tuple都能够执行完整的处理过程。在我们上面的例子中，不担心执行失败的情况。可以看到在一个topology中一个spout的数据流会被分割生成任意多的数据流，取决于下游bolt的行为。如果发生了执行失败会怎样？举个例子，考虑一个负责将数据持久化到数据库的bolt。怎样处理数据库更新失败的情况？
1.6.1　spout的可靠性

在Storm中，可靠的消息处理机制是从spout开始的。一个提供了可靠的处理机制的spout需要记录它发射出去的tupl

微信关注我们

原文链接：https://yq.aliyun.com/articles/118221

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop集群与安全》一2.1　在Hadoop集群中配置操作系统

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第2章，第2.1节，作者（美）Danil Zburivsky Sudheesh Narayanan，更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.1　在Hadoop集群中配置操作系统正如之前所提到的，Hadoop能够运行在几乎所有Linux版本的系统上。本章随后的讲解会将重点放在CentOS 6.x上，CentOS和Red Hat是Hadoop相关产品安装最为普及的平台。要掌握这些步骤并不难，对于Debian系统所有与配置Hadoop组件的步骤都是一致的，因此读者可以根据自身需求替换对应的包管理器。 2.1.1　选择和设置文件系统现代Linux系统支持多种不同的文件系统：如EXT3、EXT4、XFS、BTRFS，等等。针对特定的工作负载，这些文件系统具有略微不同的差

2017-07-03

545

随着Hadoop的数据湖获得更多的定义和部署，现在开始看起来将与现有的数据仓库技术共存。而混合型数据架构这样一种观点出现在加利福尼亚州圣迭戈召开的2016企业数据世界会议上。 “这不是一个有或没有的事情，而是一个共同存在的事情。”纽约咨询公司CasertaConcepts公司总裁兼首席执行官乔治·卡塞塔在2016年EDW大会上表示，“企业的数据仓库不会消失。即使当我们正在关注Hadoop和Spark和其他所有闪亮的新事物，它仍然存在。” 但是数据湖在大数据科学和分析应用中找到了用武之地。乔治·卡塞塔表示，基于Hadoop的数据湖通常首先要处理大量和快速到达的大量非结构化数据。卡塞塔和其他专家表示，数据湖是大数据的趋势，将为数据专业人员熟悉实践的重要组成部分带来改变。 “我们采数据仓库创建了第一个数据模型，但这已经发生了变化，“卡塞塔说。随着数据湖的采用，这些模型都已落后。“我们不这样做，马上就落后了。”他说。分析和应用其中的一个原因是数据湖与实时数据流关联。随着分析使得业务应用更加紧密，并成为了实时决策的一部分，数据需要尽快地创建和访问。卡塞塔说，这也使得它与数据仓库的工作有很大的...

2017-07-03

549

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。