《Storm企业级应用：实战、运维和调优》—

《Storm企业级应用：实战、运维和调优》——3.2　Spout数据源

2017-07-02 535

本节书摘来自华章计算机《Storm企业级应用：实战、运维和调优》一书中的第3章，第3.2节,作者：马延辉陈书美雷葆华著，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.2　Spout数据源

消息源Spout是Storm的Topology中的消息生产者（即Tuple的创造者）。
3.2.1　Spout介绍
1.?Spout的结构
Spout是Storm的核心组件之一，最源头的接口是IComponent，如图3-2所示，几个Spout接口都继承自IComponent。

2.?Spout发出的消息
Spout从外部获取数据后，向Topology中发出的Tuple可以是可靠的，也可以是不可靠的。
一个可靠的消息源可以重新发射一个Tuple（如果该Tuple没有被Storm成功处理），但是一个不可靠的消息源Spout一旦发出，一个Tupl

微信关注我们

原文链接：https://yq.aliyun.com/articles/118048

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm实时数据处理》一1.7　获取基本的点击率统计信息

本节书摘来华章计算机《Storm实时数据处理》一书中的第1章，第1.7节，（澳）Quinton Anderson　著卢誉声　译更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.7　获取基本的点击率统计信息统计点击率Topology用于记录基本的网站使用量统计信息，具体来说它会统计以下信息：访客数量独立访客数量特定国家的访客数量特定城市的访客数量特定国家中每个城市访客数量的百分比该系统假定访客总量一定，而且希望服务端的用户标示与客户端的Cookies是相对应的。该Topology通过IP地址和公用IP解析服务获取地理位置信息。统计点击率Topology还将使用Redis存储发送到Topology的点击事件，具体来说就是将其作为一个持久化队列；除此以外还要利用Redis记录再次访问网站的访客信息。关于Redis的更多信息，

2017-07-03

622

大数据处理常用框架大数据处理框架负责对系统中的数据进行计算，并且从大量的单一数据点中提取信息和观点。大数据处理框架可以分为三类，批处理框架、流处理框架和混合处理框架。 Hadoop早已证明了自己批处理系统是最古老的处理系统之一，其主要适用于操作大容量静态数据集，并在计算过程完成后返回结果，对于一些需要访问全套记录才能完成的计算工作较为合适。而Apache Hadoop则是一种专用于批处理的处理框架，是第一个在开源社区获得极大认可的大数据框架，基于谷歌有关海量数据处理的多篇论文与经验，Hadoop重新实现了相关算法和组件堆栈，简化了大规模批处理技术，提高了易用性。Apache Hadoop可以高效的处理对时间要求不高的大规模数据集。流处理系统会对随时进入系统的数据进行计算，其可以处理几乎无限量的数据，但同一时间只能处理一条或很少量数据，不同记录间只维持最小量的状态。流处理框架Apache Storm是最常用的选择，其侧重于极低延迟，甚至可以达到近实时处理的工作负载。Apache Storm可处理海量的数据，而且可以以更低的延迟提供结果，适用于对于延迟需求很高的流处理工作负载。 Sp...

2017-07-03

570

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。