hadoop 参数

2016-09-07 901 收藏

看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。

1.mapred.task.timeout 

任务超时时间，默认是10分钟

2.mapred.map.max.attempts mapred.reduce.max.attempts 

默认任务失败重复次数为4

3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent 

不触发错误的失败的最大百分比

4.mapred.jobtracker.taskScheduler 

作业调度算法设置,默认是FIFO

5.io.sort.mb io.sort.spill.percent 

缓冲区大小默认为100MB，以及缓冲区阀值默认为0.8，超过80%就保存到硬盘

6.io.sort.factor 

默认为10，一次只能合并10个溢出文件

7.mapred.compress.map.output 

默认为false，不压缩输出文件 

压缩算法由mapred.map.output.compression.codec指定

8.tracker.http.Threads 

tasktracker用于默认为40的啦

9.mapred.reduce.parallel.copies 

reduce复制map输出的线程数，默认是5个

10.mapred.inmem.merge.threshold 

控制map输出阀值，如果reduce函数的内存需求不大，那么设置为0 

mapred.job.reduce.input.buffer.percent设置为1，可以带来性能的提升。

11.io.sort.factor 

合并因子，默认为10，意思是一次合并多少个Map输出 

如果Map输出为50个文件，则每次把10个合并成一个文件，最后有5个中间文件。

12.mapred.child.java.opts 

设置任务节点的内存大小

13.io.file.buffer.size 

缓冲区，默认为4KB的缓冲区

14.mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution 

推测执行默认值为true，

15.mapred.job.reuse.jvm.num.tasks 

默认值为1，指定作业的jvm执行任务的最大数，如果为-1，则同一作业中的任务可以共享一个JVM,数量不限

16.mapred.linerecordreader.maxlength 

数据行长度的最大值，防止因为内存溢出导致的错误

17.SkipBadRecord开启跳跃模式，跳过失败的坏记录 

mapred.map.max.attemps mapred.reduce.attemps 一次只能跳过一个错误记录

18.关闭安全模式 

hadoop dfsadmin -safemode leave

上一篇 下一篇

微信关注我们

原文链接：https://yq.aliyun.com/articles/60186

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处

今天我们来讲一下如何看懂Hive的查询计划。 hive的执行计划包括三部分: – Abstract syntax tree – 可以直接忽略 – Stage dependencies – 依赖 – Stage plans – hive如何执行任务的信息。 下面还是以一个案例作为说明 设置自动连接为false的话，要走5步。 4 Map Reduces tells you something is not right. Stage: Stage-1 Map Reduce Stage: Stage-2 Map Reduce Stage: Stage-3 Map Reduce Stage: Stage-4 Map Reduce 设置自动连接为true就只有4步 Only 2 Map Reduces Stage: Stage-8 Map Reduce Stage: Stage-4 Map Reduce h...

2016-09-08

770

上一篇

Spark Tungsten in-heap / off-heap 内存管理机制

前言 发现目前还没有这方面的文章，而自己也对这块比较好奇，所以就有了这篇内容。 分析方式基本是自下而上，也就是我们分析的线路会从最基础内存申请到上层的使用。我们假设你对sun.misc.Unsafe 的API有一些最基本的了解。 in-heap 和 off-heap (MemoryAllocator) 首先我们看看 Tungsten 的 MemoryAllocator off-heap => org.apache.spark.unsafe.memory.UnsafeMemoryAllocator in-heap => org.apache.spark.unsafe.memory.HeapMemoryAllocator off-heap 获取内存很简单： long address = Platform.allocateMemory(size); 这样就拿到内存的地址了。这是一个绝对地址，64bit 应该够大。注意，所有的内存都需要8byte对齐。 in-heap 则是维护了一个long类型数组： long[] array = new long[(int) (size / 8)...

2016-09-08

576

下一篇

相关文章

发表评论

发表

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次