Spark参数配置说明
1 修改$SPARK_HOME/conf目录下的spark-defaults.conf文件
添加以下配置项
spark.sql.hive.convertMetastoreParquet false
hive.exec.compress.output false
如果spark.sql.hive.convertMetastoreParquet不设置为false,前台清单预览看到的内容为乱码。
由于parquet格式的文件内置了压缩,故输出结果不需要进行压缩,如果设置为压缩,清单下载功能异常。
2 修改$SPARK_HOME/conf目录下spark-env.sh文件,设置以下参数:
SPARK_EXECUTOR_INSTANCES=11
SPARK_EXECUTOR_CORES=2
SPARK_EXECUTOR_MEMORY=1G
SPARK_DRIVER_MEMORY=3G
根据需要配置,如果设置刚好满足所有内存,则没有多余的内存供其他task任务的执行
2.1 参数SPARK_EXECUTOR_INSTANCES
该参数决定了yarn集群中,最多能够同时启动的EXECUTOR的实例个数。Yarn中实际能够启动的最大Executors的数量会小于等于该值。如果不能确定最大能够启动的Executors数量,建议将该值先设置的足够大。(就是设置尽量大)
2.2 SPARK_EXECUTOR_CORES 该参数为设置每个EXECUTOR能够使用的CPU core的数量。
Yarn集群能够最多并行的Task数据为SPARK_EXECUTOR_INSTANCES乘 以SPARK_EXECUTOR_CORES一般设置为2
也就是说如果spark_executor_instances=11 则最多并行的Task数为22
2.3 SPARK_EXECUTOR_MEMORY
该参数设置的是每个EXECUTOR分配的内存的数量。需要注意的是,该内存数量是SPARK_EXECUTOR_CORES中设置的内核数共用的内存数量。
例如上面示例中,就是2核cpu公用1G内存。
2.4 SPARK_DRIVER_MEMORY
该参数设置的是DRIVER分配的内存的大小。也就是执行start-thriftserver.sh机器上分配给thriftserver的内存大小。
3 yarn.nodemanager.resource.memory-mb
$HADOOP_HOME/etc/hadoop目录下的yarn-site.xml文件中,参数yarn.nodemanager.resource.memory-mb配置了每台机器yarn能够使用的物理内存大小,单位是MB。
如果发现集群内内存使用量明显比屋里内存小,可以修改该参数
4 spark.yarn.executor.memoryOverhead
该参数指定了每个executor在分配的内存之外,能够额外获得的内存的大小,默认是7%
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Mahout聚类算法学习之Canopy算法的分析与实现
3.1 Canopy算法 3.1.1 Canopy算法简介 Canopy算法的主要思想是把聚类分为两个阶段:阶段一,通过使用一个简单、快捷的距离计算方法把数据分为可重叠的子集,称为“canopy”;阶段二,通过使用一个精准、严密的距离计算方法来计算出现在阶段一中同一个canopy的所有数据向量的距离。这种方式和之前的聚类方式不同的地方在于使用了两种距离计算方式,同时因为只计算了重叠部分的数据向量,所以达到了减少计算量的目的。 具体来说,阶段一,使用一个简单距离计算方法来产生具有一定数量的可重叠的子集。canopy就是一个样本数据集的子集,子集中的样本数据是通过一个粗糙的距离计算方法来计算样本数据向量和canopy的中心向量的距离,设定一个距离阈值,当计算的距离小于这个阈值的时候,就把样本数据向量归为此canopy。这里要说明的是,每个样本数据向量有可能存在于多个canopy里面,但是每个样本数据向量至少要包含于一个canopy中。canopy的创建基于不存在于同一个canopy中的样本数据向量彼此很不相似,不能被分为同一个类的这样的观点考虑的。由于距离计算方式是粗糙的,因此不能...
- 下一篇
Hadoop常用命令
HDFS基本命令:hadoop fs -cmdcmd: 具体的操作,基本上与UNIX的命令行相同args:参数HDFS资源URI格式:scheme://authority/pathscheme:协议名,file或hdfsauthority:namenode主机名path:路径示例:hdfs://localhost:9000/user/chunk/test.txt假设已经在core-site.xml里配置了 fs.default.name=hdfs://localhost:9000,则仅使用/user/chunk/test.txt即可。hdfs默认工作目录为 /user/$USER,$USER是当前的登录用户名。HDFS命令示例:hadoop fs -mkdir /user/trunkhadoop fs -ls /userhadoop fs -lsr /user (递归的)hadoop fs -put test.txt /user/trunkhadoop fs -put test.txt . (复制到hdfs当前目录下,首先要创建当前目录)hadoop fs -get /user/tru...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果