Spark中的资源调度
Spark中涉及的资源调度可以分为4层:
- YARN对不同SparkApplication(SparkContext)的调度
- 同一个SparkAppliction内不同资源池(pool)之间的调度
- 同一个SparkAppliction内同一个资源池(pool)内不同TaskSetManager的调度
- 同一个SparkAppliction内同一个资源池(pool)内同一个TaskSetManager内的Task调度
前置
为啥需要资源调度
当用户提交作业，Spark内部的执行流程如下图:
Spark上层的SQL/Streaming等最终都会生成RDD到底层SparkCore执行。如上图所示当RDD执行一个action类型的算子(如collect)会触发一个Job的提交到DAGScheduler，DAGScheduler会将Job拆成Stage(根据s
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
记录一次数据同步到数据仓库的架构与实践
背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是批量取数并Load：直连MySQL去Select表中的数据，然后存到本地文件作为中间存储，最后把文件Load到Hive表中。这种方案的优点是实现简单，但是随着业务的发展，缺点也逐渐暴露出来： 性能瓶颈：随着业务规模的增长，Select From MySQL -> Save to Localfile -> Load to Hive这种数据流花费的时间越来越长，无法满足下游数仓生产的时间要求。 直接从MySQL中Select大量数据，对MySQL的影响非常大，容易造成慢查询，影响业务线上的正常服务。 由于Hive本身的语法不支持更新、删除等SQL原语，对于MySQL中发生Updat...
- 下一篇
【Elasticsearch 5.6.12 源码】——【2】启动过程分析（上）
版权声明：本文为博主原创，转载请注明出处！ 简介 本文主要解决以下问题： 1、启动ES的入口类及入口方法是哪个？2、分析梳理ES服务启动的主要流程？ 入口类 ES的入口类为org.elasticsearch.bootstrap.Elasticsearch，启动方法为： public static void main(final String[] args) throws Exception 该类通过继承EnvironmentAwareCommand类增加了CLI的支持，类图： 启动流程 Step 1、给JVM安装（临时的）安全管理器，并注册错误日志监听器。 ES在程序启动的第一步先给JVM安装了一个安全管理器，并授予了程序所有的权限（临时的，后续会更换新的安全管理器），以方便以后的操作。接下来会注册一个错误日志的监听器，来监听是否有错误发生，随后使用配置文件配置日志组件是会检查监听器是否检测到错误，如果有将通过抛异常的方式中止ES的启动过程。执行该动作的方法： // org.elasticsearch.bootstrap.Elasticsearch public static void...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7编译安装Cmake3.16.3，解决mysql等软件编译问题
- SpringBoot2编写第一个Controller，响应你的http请求并返回结果
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置，开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker快速安装Oracle11G，搭建oracle11g学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
微信收款码
支付宝收款码