spark2.1.0之配置与源码分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/80468207 任何优秀的软件或服务都会提供一些配置参数，这些配置参数有些是内置的，有些则是可以由用户配置的。对于熟悉Java的开发人员来说，对JVM进行性能调优是一个经常需要面对的工作，这个过程常常伴随着各种JVM参数的调整与测试。之所以将这些参数交给具体的开发人员去调整，是因为软件或者服务的提供者也无法保证给定的默认参数是最符合用户应用场景与软硬件环境的。一个简单的例子：当用户的QPS发生变化时，对于Web服务的JVM来说也应当相应调整内存的大小或限制。 Spark作为一款优秀的计算框架，也配备了各种各样的系统配置参数（例如：spark.master，spark.app.name，spark.driver.memory，spark.executor.memory等）。通过这些配置参数可以定义应用的名称、使用的部署模式、调度模式、executor数量、executor的内核数、driver或executor的内存大小、采用的内存...
