Spark中的资源调度

2018-12-20 650

Spark中涉及的资源调度可以分为4层:

YARN对不同SparkApplication(SparkContext)的调度
同一个SparkAppliction内不同资源池(pool)之间的调度
同一个SparkAppliction内同一个资源池(pool)内不同TaskSetManager的调度
同一个SparkAppliction内同一个资源池(pool)内同一个TaskSetManager内的Task调度

前置

为啥需要资源调度

当用户提交作业，Spark内部的执行流程如下图:

Spark上层的SQL/Streaming等最终都会生成RDD到底层SparkCore执行。如上图所示当RDD执行一个action类型的算子(如collect)会触发一个Job的提交到DAGScheduler，DAGScheduler会将Job拆成Stage(根据s

微信关注我们

原文链接：https://yq.aliyun.com/articles/680995

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

记录一次数据同步到数据仓库的架构与实践

背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是批量取数并Load：直连MySQL去Select表中的数据，然后存到本地文件作为中间存储，最后把文件Load到Hive表中。这种方案的优点是实现简单，但是随着业务的发展，缺点也逐渐暴露出来：性能瓶颈：随着业务规模的增长，Select From MySQL -> Save to Localfile -> Load to Hive这种数据流花费的时间越来越长，无法满足下游数仓生产的时间要求。直接从MySQL中Select大量数据，对MySQL的影响非常大，容易造成慢查询，影响业务线上的正常服务。由于Hive本身的语法不支持更新、删除等SQL原语，对于MySQL中发生Updat...

2018-12-21

575

版权声明：本文为博主原创，转载请注明出处！简介本文主要解决以下问题： 1、启动ES的入口类及入口方法是哪个？2、分析梳理ES服务启动的主要流程？入口类 ES的入口类为org.elasticsearch.bootstrap.Elasticsearch，启动方法为： public static void main(final String[] args) throws Exception 该类通过继承EnvironmentAwareCommand类增加了CLI的支持，类图：启动流程 Step 1、给JVM安装（临时的）安全管理器，并注册错误日志监听器。 ES在程序启动的第一步先给JVM安装了一个安全管理器，并授予了程序所有的权限（临时的，后续会更换新的安全管理器），以方便以后的操作。接下来会注册一个错误日志的监听器，来监听是否有错误发生，随后使用配置文件配置日志组件是会检查监听器是否检测到错误，如果有将通过抛异常的方式中止ES的启动过程。执行该动作的方法： // org.elasticsearch.bootstrap.Elasticsearch public static void...

2018-12-21

603

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

Spark中的资源调度

前置

为啥需要资源调度

记录一次数据同步到数据仓库的架构与实践

【Elasticsearch 5.6.12 源码】——【2】启动过程分析（上）

相关文章

发表评论

资源下载

优质分享App

Oracle

Eclipse

Sublime Text

欢迎您！