前言

本文主要介绍关于通过配置Spark任务运行时的内存和CPU（Vcore）来提升Spark性能的方法。通过配置内存和CPU（Vcore）是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍，数据工作台的详细介绍请参考：数据工作台。

提交Spark任务的参数

提交Spark任务时需要提供如下的参数。

--class org.apache.spark.examples.SparkPi
--driver-memory 2G 
--driver-cores 1
--executor-cores 2
--executor-memory 8G
--num-executors 3
--name spark-pi
...

其中下面的参数都是和此次spark任务执行的性能相关。

--driver-memory 2G