《Storm分布式实时计算模式》——3.2　Trident topology-低调大师

《Storm分布式实时计算模式》——3.2　Trident topology

2017-07-02 533

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第3章，第3.2节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.2　Trident topology

为了满足这些需求，我们需要在topology中对疾病的发生进行统计。使用标准的Storm topology进行统计会遇到难题，因为tuple可能重复发送，这会导致重复计数的问题。下一节将会看到，Trident提供了操作原语来解决这个问题。
我们将使用的topology，如图3-1所示。
上述topology的代码如下：

ba3180aa11462bdd8e15d929f470895871b6e135

https://yqfile.alicdn.com/8f3ccc00d201386cd2c7e54e6d2b24079f053405.png
" >

faed3942e6aa21f4b3ca2e11c2697773aebf9916

https://yqfi

微信关注我们

原文链接：https://yq.aliyun.com/articles/118295

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm分布式实时计算模式》——第3章 Trident和传感器数据3.1　使用场景

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第3章，第3.1节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。第3章 Trident和传感器数据在本章中，我们将介绍Trident topology。Trident在Storm上提供了高层抽象。Trident抽象掉了事务处理和状态管理的细节。特别是，它可以让一批tuple进行离散的事务处理。此外，Trident还提供了抽象操作，允许topology在数据上执行函数功能、过滤和聚合操作。我们将使用传感器数据作为例子来更好地理解Trident。通常情况下，传感器数据流会来自不同的位置。一些传统的例子包括天气和交通状况，这种模式扩展到了更大的数据源。比如，手机应用产生的众多事件信息。处理手机生

2017-07-03

581

虽然构成Hadoop生态系统堆栈均为开源技术，但是为使用商业Hadoop平台而支付一定的订阅费用还是大有裨益的。例如，订阅后提供技术支持和培训，而且会开放企业级功能，而这些功能是不向开源社区提供的。虽然厂商Hadoop发行版的企业版本都提供了Hadoop生态系统堆栈的核心组件，但是这些厂商提供的超越公开可访问功能的部分才是其关键优势。最近市场弱化了Hadoop厂商的层级。例如，就在本月，Pivotal Software取消了其自身的Hadoop发行版并宣布会转售Hortonworks作为替代。但是仍有很多不同的厂商需要考虑，包括独立Hadoop专家，云厂商和本文根据几个主要特征将顶级Hadoop发行版进行了区分，帮助你决定哪家Hadoop厂商才是最适合你所在的企业;这些特征包括部署模型，企业级功能，安全性和数据保护功能，以及支持服务。请注意虽然Hadoop大数据管理生态系统是设计来支持可扩展数据存储和高性能分布式计算的，但实际性能可能会因多个原因而有所不同，包括软件的实现。但是很多性能问题都依赖于计划应用程序本身。要解决这一问题，我们将进一步研究Hadoop产品发行版是如何来满...

2017-07-03

602

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。