深入理解Spark：核心思想与源码分析. 3.4　SparkUI详解-低调大师

深入理解Spark：核心思想与源码分析. 3.4　SparkUI详解

2017-05-01 556 89

3.4　SparkUI详解

任何系统都需要提供监控功能，用浏览器能访问具有样式及布局并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务，它的架构如图3-1所示。

在大型分布式系统中，采用事件监听机制是最常见的。为什么要使用事件监听机制？假如SparkUI采用Scala的函数调用方式，那么随着整个集群规模的增加，对函数的调用会越来越多，最终会受到Driver所在JVM的线程数量限制而影响监控数据的更新，甚至出现监控数据无法及时显示给用户的情况。由于函数调用多数情况下是同步调用，这就导致线程被阻塞，在分布式环境中，还可能因为网络问题，导致线程被长时间占用。将函数调用更换为发送事件，事件的处理是异步的，当前线程可以继续执行后续逻辑，线程池中的线程还可以被重用，这样整个系统的并发度会大大增加。发送的事件会存入缓存

微信关注我们

原文链接：https://yq.aliyun.com/articles/82172

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2017-05-02 00:00:00

《深入理解Elasticsearch（原书第2版）》一2.3　查询模板

本节书摘来自华章出版社《深入理解Elasticsearch（原书第2版）》一书中的第2章，第2.3节，作者[美]拉斐尔·酷奇（Rafal Ku）　马雷克·罗戈任斯基（Marek Rogoziski），更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.3　查询模板在应用程序迭代的同时，它的运行环境很可能会越来越复杂。在你所处的组织中，很可能同一个应用程序的不同部分分别有专人负责，比如说，至少有一个前端工程师和一个负责数据库层的后端工程师。将应用程序划分为几个模块分别开发的方式非常便捷高效，它能够让开发人员针对程序的不同部分并行进行开发工作，而无需在开发者之间和开发小组内部时刻同步代码。当然，你正在阅读的这本书不是关于项目管理的，而是聚焦于搜索的，因此让我们回到正题上。有时候，我们可以整理出程序使用的所有查询语句交给搜索引擎工程

580

2017-05-02 00:00:00

《MapReduce设计模式》一导读

前言 MapReduce设计模式欢迎阅读《MapReduce设计模式》！这是一本既独特又熟悉的书。首先，这显然是一本关于设计模式的书，为大家提供解决问题的模板或通用指南。我们看了一些以前出版的有关设计模式的书，特别是Gamma等人（1995）编著的《Design Patterns: Elements of Reusable Object-Oriented Software》（通常被成为“四人组”书），从中汲取了灵感。在每个模式的描述中，读者都会看到一个我们反复使用的模板，这个模板基本是基于他们这本书的。重复看到类似的模板可以帮助读者获取所需的特定信息。这在以后使用这本书当参考书时特别有用。这本书相对于“cookbook”类的书要更开放一些，因为本书不是面向解决具体问题的。但与cookbook类的书相似的是，本书涉及的内容同样都是简短的、分门别类的。要解决你所面临的问题需要付出比复制、粘贴我们的代码更多的努力，但是我们希望你可以找到一个模式帮助你解决掉90%的问题。这本书主要是关于Hadoop或MapReduce的数据分析层面的。我们特意尽量不去引入过多有关Hadoop或MapRe...

434

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。