hadoop 参数

2016-09-07 952 收藏

看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。

1.mapred.task.timeout 

任务超时时间，默认是10分钟

2.mapred.map.max.attempts mapred.reduce.max.attempts 

默认任务失败重复次数为4

3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent 

不触发错误的失败的最大百分比

4.mapred.jobtracker.taskScheduler 

作业调度算法设置,默认是FIFO

5.io.sort.mb io.sort.spill.percent 

缓冲区大小默认为100MB，以及缓冲区阀值默认为0.8，超过80%就保存到硬盘

6.io.sort.factor 

默认为10，一次只能合并10个溢出文件

7.mapred.compress.map.output 

默认为false，不压缩输出文件 

压缩算法由mapred.map.output.compression.codec指定

8.tracker.http.Threads 

tasktracker用于默认为40的啦

9.mapred.reduce.parallel.copies 

reduce复制map输出的线程数，默认是5个

10.mapred.inmem.merge.threshold 

控制map输出阀值，如果reduce函数的内存需求不大，那么设置为0 

mapred.job.reduce.input.buffer.percent设置为1，可以带来性能的提升。

11.io.sort.factor 

合并因子，默认为10，意思是一次合并多少个Map输出 

如果Map输出为50个文件，则每次把10个合并成一个文件，最后有5个中间文件。

12.mapred.child.java.opts 

设置任务节点的内存大小

13.io.file.buffer.size 

缓冲区，默认为4KB的缓冲区

14.mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution 

推测执行默认值为true，

15.mapred.job.reuse.jvm.num.tasks 

默认值为1，指定作业的jvm执行任务的最大数，如果为-1，则同一作业中的任务可以共享一个JVM,数量不限

16.mapred.linerecordreader.maxlength 

数据行长度的最大值，防止因为内存溢出导致的错误

17.SkipBadRecord开启跳跃模式，跳过失败的坏记录 

mapred.map.max.attemps mapred.reduce.attemps 一次只能跳过一个错误记录

18.关闭安全模式 

hadoop dfsadmin -safemode leave

上一篇 下一篇

微信关注我们

原文链接：https://yq.aliyun.com/articles/60186

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处

今天我们来讲一下如何看懂Hive的查询计划。 hive的执行计划包括三部分: – Abstract syntax tree – 可以直接忽略 – Stage dependencies – 依赖 – Stage plans – hive如何执行任务的信息。 下面还是以一个案例作为说明 设置自动连接为false的话，要走5步。 4 Map Reduces tells you something is not right. Stage: Stage-1 Map Reduce Stage: Stage-2 Map Reduce Stage: Stage-3 Map Reduce Stage: Stage-4 Map Reduce 设置自动连接为true就只有4步 Only 2 Map Reduces Stage: Stage-8 Map Reduce Stage: Stage-4 Map Reduce h...

2016-09-07

819

上一篇

Spark Tungsten in-heap / off-heap 内存管理机制

前言 发现目前还没有这方面的文章，而自己也对这块比较好奇，所以就有了这篇内容。 分析方式基本是自下而上，也就是我们分析的线路会从最基础内存申请到上层的使用。我们假设你对sun.misc.Unsafe 的API有一些最基本的了解。 in-heap 和 off-heap (MemoryAllocator) 首先我们看看 Tungsten 的 MemoryAllocator off-heap => org.apache.spark.unsafe.memory.UnsafeMemoryAllocator in-heap => org.apache.spark.unsafe.memory.HeapMemoryAllocator off-heap 获取内存很简单： long address = Platform.allocateMemory(size); 这样就拿到内存的地址了。这是一个绝对地址，64bit 应该够大。注意，所有的内存都需要8byte对齐。 in-heap 则是维护了一个long类型数组： long[] array = new long[(int) (size / 8)...

2016-09-07

622

下一篇

相关文章

发表评论

发表

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-04-11 大小: 1MB 下载: 9次

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-04-24 大小: 189MB 下载: 6次

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-05-30 大小: 1.42GB 下载: 5次

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次