《Storm企业级应用：实战、运维和调优》—

《Storm企业级应用：实战、运维和调优》——3.2　Spout数据源

2017-07-02 549

本节书摘来自华章计算机《Storm企业级应用：实战、运维和调优》一书中的第3章，第3.2节,作者：马延辉陈书美雷葆华著，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.2　Spout数据源

消息源Spout是Storm的Topology中的消息生产者（即Tuple的创造者）。
3.2.1　Spout介绍
1.?Spout的结构
Spout是Storm的核心组件之一，最源头的接口是IComponent，如图3-2所示，几个Spout接口都继承自IComponent。

2.?Spout发出的消息
Spout从外部获取数据后，向Topology中发出的Tuple可以是可靠的，也可以是不可靠的。
一个可靠的消息源可以重新发射一个Tuple（如果该Tuple没有被Storm成功处理），但是一个不可靠的消息源Spout一旦发出，一个Tupl

微信关注我们

原文链接：https://yq.aliyun.com/articles/118048

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm实时数据处理》一1.7　获取基本的点击率统计信息

本节书摘来华章计算机《Storm实时数据处理》一书中的第1章，第1.7节，（澳）Quinton Anderson　著卢誉声　译更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.7　获取基本的点击率统计信息统计点击率Topology用于记录基本的网站使用量统计信息，具体来说它会统计以下信息：访客数量独立访客数量特定国家的访客数量特定城市的访客数量特定国家中每个城市访客数量的百分比该系统假定访客总量一定，而且希望服务端的用户标示与客户端的Cookies是相对应的。该Topology通过IP地址和公用IP解析服务获取地理位置信息。统计点击率Topology还将使用Redis存储发送到Topology的点击事件，具体来说就是将其作为一个持久化队列；除此以外还要利用Redis记录再次访问网站的访客信息。关于Redis的更多信息，

2017-07-03

635

大数据处理常用框架大数据处理框架负责对系统中的数据进行计算，并且从大量的单一数据点中提取信息和观点。大数据处理框架可以分为三类，批处理框架、流处理框架和混合处理框架。 Hadoop早已证明了自己批处理系统是最古老的处理系统之一，其主要适用于操作大容量静态数据集，并在计算过程完成后返回结果，对于一些需要访问全套记录才能完成的计算工作较为合适。而Apache Hadoop则是一种专用于批处理的处理框架，是第一个在开源社区获得极大认可的大数据框架，基于谷歌有关海量数据处理的多篇论文与经验，Hadoop重新实现了相关算法和组件堆栈，简化了大规模批处理技术，提高了易用性。Apache Hadoop可以高效的处理对时间要求不高的大规模数据集。流处理系统会对随时进入系统的数据进行计算，其可以处理几乎无限量的数据，但同一时间只能处理一条或很少量数据，不同记录间只维持最小量的状态。流处理框架Apache Storm是最常用的选择，其侧重于极低延迟，甚至可以达到近实时处理的工作负载。Apache Storm可处理海量的数据，而且可以以更低的延迟提供结果，适用于对于延迟需求很高的流处理工作负载。 Sp...

2017-07-03

582

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。