《Storm分布式实时计算模式》——1.2　单词计数topology的数据流-低调大师

《Storm分布式实时计算模式》——1.2　单词计数topology的数据流

2017-07-02 592

[text](本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第1章，第1.2节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　单词计数topology的数据流

如图1-2所示，单词计数topology由一个spout和下游的三个bolt组成。

7d2caf4510f90e61fa828acaa5304fce19690b78

1.2.1　语句生成spout
SentenceSpout类的功能很简单，向后端发射一个单值tuple组成的数据流，键名是“sentence”，键值是字符串格式存储的一句话。如下所示：

4424a913b7e471c789216378adcd4f40462e8bfc

为了简化起见，我们的数据源是一个静态语句的列表。spout会一直循环将每句话作为tuple发射。实际应用中，spout通常会连接到动态数据源上，比如通过Twitter的API获取推特消息。
1.2.2　语句分割bol

微信关注我们

原文链接：https://yq.aliyun.com/articles/118182

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm分布式实时计算模式》——第1章分布式单词计数1.1　Storm topology的组成部分——stream、spout和bol...

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第1章，第1.1节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。第1章分布式单词计数本章将介绍使用Storm建立一个分布式流式计算应用时涉及的核心概念。我们通过建立一个简单的计数器程序实现这个目的。计数器将持续输入的一句句话作为输入流，统计其中单词出现的次数。单词计数这个例子浅显易懂，引入了多种数据结构、技术和设计模式。这些都是实现更复杂计算所必须的基础。本章首先概要介绍Storm的数据结构，然后实现一个完整Storm程序所需的各个组成部分。读完本章，读者将会了解Storm计算的基本结构、搭建开发环境的方法、Storm程序的开发和调试技术。本章包括以下主题： Strom topology的

2017-07-03

662

前言：最近一直在分析hadoop的RPC机制。在hadoop中，DataNode和NameNode之间的控制信息的交流是通过RPC机制完成的，采用的是动态代理和java NIO的方式。DataNode端是通过获得NameNode的代理，通过该代理和NameNode进行通信的，为了更好的分析hadoop的RPC机制我想先分析一下动态代理是怎么实现。下面就是动态代理的最最简单的代码实现，我们一起来看看吧。代码如下： package cn.xiaolu; import java.lang.reflect.InvocationHandler; import java.lang.reflect.Method; import java.lang.reflect.Proxy; /** * 动态代理类使用到了一个接口InvocationHandler和一个代理类Proxy ，这两个类配合使用实现了动态代理的功能。 * 那么什么是动态代理呢？ * 我们平常说的代理类是指：给每个具体类写一个代理类，以后要使用某个具体类时，只要创建它的代理类的对象，然后调用代理类的方法就可以了。 * 可是如果现在有许多的...

2017-07-03

539

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。