您现在的位置是:首页 > 文章详情

Spark 通用的性能配置方法:内存和CPU的配置

日期:2019-07-07点击:415

前言

本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的方法。通过配置内存和CPU(Vcore)是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍,数据工作台的详细介绍请参考:数据工作台

提交Spark任务的参数

提交Spark任务时需要提供如下的参数。

--class org.apache.spark.examples.SparkPi --driver-memory 2G --driver-cores 1 --executor-cores 2 --executor-memory 8G --num-executors 3 --name spark-pi ...

其中下面的参数都是和此次spark任务执行的性能相关。

--driver-memory 2G 
原文链接:https://yq.aliyun.com/articles/708133
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章