《Spark大数据分析：核心概念、技术及实践》一1.4　消息系统-低调大师

《Spark大数据分析：核心概念、技术及实践》一1.4　消息系统

2017-05-01 621

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1.4节，作者[美]　穆罕默德·古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.4　消息系统

数据通常从一个应用流向另一个。一个应用产生数据，而后被一个或多个其他应用使用。一般来讲，生成或发送数据的应用叫作生产者，接收数据的则叫作消费者。

有时候，产生数据的应用数量和使用数据的应用数量会出现不对称。比如，一个应用可以产生数据，而后被多个消费者使用。同样地，一个应用也可以使用来自多个生产者的数据。

有时候应用产生数据的速率和另一个应用使用数据的速率也会出现不对称。一个应用可能产生数据的速率快于消费者使用数据的速率。

从一个应用向另一个应用发送数据的简单方法就是把它们直接互连。然而，当生产者和消费者数量或

微信关注我们

原文链接：https://yq.aliyun.com/articles/88679

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm入门之第7章使用非JVM语言开发

本文翻译自《Getting Started With Storm》译者：吴京润编辑：郭蕾方腾飞有时候你可能想使用不是基于JVM的语言开发一个Storm工程，你可能更喜欢使用别的语言或者想使用用某种语言编写的库。 Storm是用Java实现的，你看到的所有这本书中的spout和bolt都是用java编写的。那么有可能使用像Python、Ruby、或者JavaScript这样的语言编写spout和bolt吗？答案是当然可以！可以使用多语言协议达到这一目的。多语言协议是Storm实现的一种特殊的协议，它使用标准输入输出作为spout和bolt进程间的通讯通道。消息以JSON格式或纯文本格式在通道中传递。我们看一个用非JVM语言开发spout和bolt的简单例子。在这个例子中有一个spout产生从1到10,000的数字，一个bolt过滤素数，二者都用PHP实现。 NOTE: 在这个例子中，我们使用一个很笨的办法验证素数。有更好当然也更复杂的方法，它们已经超出了这个例子的范围。有一个专门为Storm实现的PHP DSL(译者注：领域特定语言)，我们将会在例子中展示我们的实现。首先定...

2017-05-01

631

本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.3节Spark架构与运行逻辑，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.3　Spark架构与运行逻辑1.?Spark的架构Driver：运行Application的main()函数并且创建SparkContext。Client：用户提交作业的客户端。Worker：集群中任何可以运行Application代码的节点，运行一个或多个Executor进程。Executor：运行在Worker的Task执行器，Executor启动线程池运行Task，并且负责将数据存在内存或者磁盘上。每个Application都会申请各自的Executor来处理任务。SparkContext：整个应用的上下文，控制应用的生命周期。RDD：Spark的基本计

2017-05-01

697

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。