spark性能调优
spark性能优化点 分配更多的资源1.1 分配哪些资源 1.2 在哪里可以设置这些资源1.3 参数调节到多大，算是最大分配更多的资源：它是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调优的时候，首先第一步，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限；那么才是考虑去做后面的这些性能调优的点。相关问题：（1）分配哪些资源？（2）在哪里可以设置这些资源？（3）剖析为什么分配这些资源之后，性能可以得到提升？executor‐memory、executor‐cores、driver‐memory在实际的生产环境中，提交spark任务时，使用spark‐submit shell脚本，在里面调整对应的参数。提交任务的脚本:spark‐submit \‐‐master spark://node1:7077 \‐‐class cn.itcast.WordC...
