《Spark大数据分析：核心概念、技术及实践》一1.4　消息系统-低调大师

《Spark大数据分析：核心概念、技术及实践》一1.4　消息系统

2017-05-01 520

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1.4节，作者[美]　穆罕默德·古勒（Mohammed Guller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.4　消息系统

数据通常从一个应用流向另一个。一个应用产生数据，而后被一个或多个其他应用使用。一般来讲，生成或发送数据的应用叫作生产者，接收数据的则叫作消费者。

有时候，产生数据的应用数量和使用数据的应用数量会出现不对称。比如，一个应用可以产生数据，而后被多个消费者使用。同样地，一个应用也可以使用来自多个生产者的数据。

有时候应用产生数据的速率和另一个应用使用数据的速率也会出现不对称。一个应用可能产生数据的速率快于消费者使用数据的速率。

从一个应用向另一个应用发送数据的简单方法就是把它们直接互连。然而，当生产者和消费者数量或

微信关注我们

原文链接：https://yq.aliyun.com/articles/88679

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Storm入门之第7章使用非JVM语言开发

本文翻译自《Getting Started With Storm》译者：吴京润编辑：郭蕾方腾飞有时候你可能想使用不是基于JVM的语言开发一个Storm工程，你可能更喜欢使用别的语言或者想使用用某种语言编写的库。 Storm是用Java实现的，你看到的所有这本书中的spout和bolt都是用java编写的。那么有可能使用像Python、Ruby、或者JavaScript这样的语言编写spout和bolt吗？答案是当然可以！可以使用多语言协议达到这一目的。多语言协议是Storm实现的一种特殊的协议，它使用标准输入输出作为spout和bolt进程间的通讯通道。消息以JSON格式或纯文本格式在通道中传递。我们看一个用非JVM语言开发spout和bolt的简单例子。在这个例子中有一个spout产生从1到10,000的数字，一个bolt过滤素数，二者都用PHP实现。 NOTE: 在这个例子中，我们使用一个很笨的办法验证素数。有更好当然也更复杂的方法，它们已经超出了这个例子的范围。有一个专门为Storm实现的PHP DSL(译者注：领域特定语言)，我们将会在例子中展示我们的实现。首先定...

2017-05-02

502

《Spark大数据分析实战》——1.3节Spark架构与运行逻辑

本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.3节Spark架构与运行逻辑，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.3　Spark架构与运行逻辑1.?Spark的架构Driver：运行Application的main()函数并且创建SparkContext。Client：用户提交作业的客户端。Worker：集群中任何可以运行Application代码的节点，运行一个或多个Executor进程。Executor：运行在Worker的Task执行器，Executor启动线程池运行Task，并且负责将数据存在内存或者磁盘上。每个Application都会申请各自的Executor来处理任务。SparkContext：整个应用的上下文，控制应用的生命周期。RDD：Spark的基本计

2017-05-02

611

资源下载

更多资源

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。