Spark 通用的性能配置方法:内存和CPU的配置
前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的方法。通过配置内存和CPU(Vcore)是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍,数据工作台的详细介绍请参考:数据工作台。 提交Spark任务的参数 提交Spark任务时需要提供如下的参数。 --class org.apache.spark.examples.SparkPi --driver-memory 2G --driver-cores 1 --executor-cores 2 --executor-memory 8G --num-executors 3 --name spark-pi ... 其中下面的参数都是和此次spark任务执行的性能相关。 --driver-memory 2G
