《Spark大数据分析实战》——1.3节Spark架构与运行逻辑-低调大师

《Spark大数据分析实战》——1.3节Spark架构与运行逻辑

2017-05-01 611

本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.3节Spark架构与运行逻辑，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看

1.3　Spark架构与运行逻辑
1.?Spark的架构
Driver：运行Application的main()函数并且创建SparkContext。
Client：用户提交作业的客户端。
Worker：集群中任何可以运行Application代码的节点，运行一个或多个Executor进程。
Executor：运行在Worker的Task执行器，Executor启动线程池运行Task，并且负责将数据存在内存或者磁盘上。每个Application都会申请各自的Executor来处理任务。
SparkContext：整个应用的上下文，控制应用的生命周期。
RDD：Spark的基本计

微信关注我们

原文链接：https://yq.aliyun.com/articles/108514

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark大数据分析：核心概念、技术及实践》一1.4　消息系统

本节书摘来自华章出版社《Spark大数据分析：核心概念、技术及实践》一书中的第1章，第1.4节，作者[美]　穆罕默德·古勒（MohammedGuller），更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4　消息系统数据通常从一个应用流向另一个。一个应用产生数据，而后被一个或多个其他应用使用。一般来讲，生成或发送数据的应用叫作生产者，接收数据的则叫作消费者。有时候，产生数据的应用数量和使用数据的应用数量会出现不对称。比如，一个应用可以产生数据，而后被多个消费者使用。同样地，一个应用也可以使用来自多个生产者的数据。有时候应用产生数据的速率和另一个应用使用数据的速率也会出现不对称。一个应用可能产生数据的速率快于消费者使用数据的速率。从一个应用向另一个应用发送数据的简单方法就是把它们直接互连。然而，当生产者和消费者数量或

2017-05-02

519

Storm入门之第6章一个实际的例子

本文翻译自《Getting Started With Storm》译者：吴京润编辑：郭蕾方腾飞本章要阐述一个典型的网络分析解决方案，而这类问题通常利用Hadoop批处理作为解决方案。与Hadoop不同的是，基于Storm的方案会实时输出结果。我们的这个例子有三个主要组件（见图6-1）一个基于Node.js的web应用，用于测试系统一个Redis服务器，用于持久化数据一个Storm拓扑，用于分布式实时处理数据图6-1 架构概览 NOTE:你如果想先把这个例子运行起来，请首先阅读附录C 基于Node.js的web应用我们已经伪造了简单的电子商务网站。这个网站只有三个页面：一个主页、一个产品页和一个产品统计页面。这个应用基于Express和Socket.io两个框架实现了向浏览器推送内容更新。制作这个应用的目的是为了让你体验Storm集群功能并看到处理结果，但它不是本书的重点，所以我们不会对它的页面做更详细描述。主页这个页面提供了全部有效产品的链接。它从Redis服务器获取数据并在页面上把它们显示出来。这个页面的URL是http://localhost:3000/...

2017-05-02

555

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。