您现在的位置是：首页 > 文章详情

hadoop 参数

日期：2016-09-07点击：804收藏

看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。

1.mapred.task.timeout

任务超时时间，默认是10分钟

2.mapred.map.max.attempts mapred.reduce.max.attempts

默认任务失败重复次数为4

3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent

不触发错误的失败的最大百分比

4.mapred.jobtracker.taskScheduler

作业调度算法设置,默认是FIFO

5.io.sort.mb io.sort.spill.percent

缓冲区大小默认为100MB，以及缓冲区阀值默认为0.8，超过80%就保存到硬盘

6.io.sort.factor

默认为10，一次只能合并10个溢出文件

7.mapred.compress.map.output

默认为false，不压缩输出文件

压缩算法由mapred.map.output.compression.codec指定

8.tracker.http.Threads

tasktracker用于默认为40的啦

9.mapred.reduce.parallel.copies

reduce复制map输出的线程数，默认是5个

10.mapred.inmem.merge.threshold

控制map输出阀值，如果reduce函数的内存需求不大，那么设置为0

mapred.job.reduce.input.buffer.percent设置为1，可以带来性能的提升。

11.io.sort.factor

合并因子，默认为10，意思是一次合并多少个Map输出

如果Map输出为50个文件，则每次把10个合并成一个文件，最后有5个中间文件。

12.mapred.child.java.opts

设置任务节点的内存大小

13.io.file.buffer.size

缓冲区，默认为4KB的缓冲区

14.mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution

推测执行默认值为true，

15.mapred.job.reuse.jvm.num.tasks

默认值为1，指定作业的jvm执行任务的最大数，如果为-1，则同一作业中的任务可以共享一个JVM,数量不限

16.mapred.linerecordreader.maxlength

数据行长度的最大值，防止因为内存溢出导致的错误

17.SkipBadRecord开启跳跃模式，跳过失败的坏记录

mapred.map.max.attemps mapred.reduce.attemps 一次只能跳过一个错误记录

18.关闭安全模式

hadoop dfsadmin -safemode leave

原文链接：https://yq.aliyun.com/articles/60186

关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

Java分享

hadoop 参数

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处

Spark Tungsten in-heap / off-heap 内存管理机制

相关文章

文章评论

文章二维码

点击排行

推荐阅读

最新文章