hadoop 参数-低调大师

hadoop 参数

2016-09-07 867 89

看《Hadoop：权威指南》的时候收集了书上写的一些需要优化的参数，记录了一下子，给大家分享一下吧。

1.mapred.task.timeout

任务超时时间，默认是10分钟

2.mapred.map.max.attempts mapred.reduce.max.attempts

默认任务失败重复次数为4

3.mapred.max.map.failures.percent mapred.reduce.map.failures.percent

不触发错误的失败的最大百分比

4.mapred.jobtracker.taskScheduler

作业调度算法设置,默认是FIFO

5.io.sort.mb io.sort.spill.percent

缓冲区大小默认为100MB，以及缓冲区阀值默认为0.8，超过80%就保存到硬盘

6.io.sort.factor

默认为10，一次只能合并10个溢出文件

7.mapred.compress.map.output

默认为false，不压缩输出文件

压缩算法由mapred.map.output.compression.codec指定

8.tracker.http.Threads

tasktracker用于默认为40的啦

9.mapred.reduce.parallel.copies

reduce复制map输出的线程数，默认是5个

10.mapred.inmem.merge.threshold

控制map输出阀值，如果reduce函数的内存需求不大，那么设置为0

mapred.job.reduce.input.buffer.percent设置为1，可以带来性能的提升。

11.io.sort.factor

合并因子，默认为10，意思是一次合并多少个Map输出

如果Map输出为50个文件，则每次把10个合并成一个文件，最后有5个中间文件。

12.mapred.child.java.opts

设置任务节点的内存大小

13.io.file.buffer.size

缓冲区，默认为4KB的缓冲区

14.mapred.map.tasks.speculative.execution mapred.reduce.tasks.speculative.execution

推测执行默认值为true，

15.mapred.job.reuse.jvm.num.tasks

默认值为1，指定作业的jvm执行任务的最大数，如果为-1，则同一作业中的任务可以共享一个JVM,数量不限

16.mapred.linerecordreader.maxlength

数据行长度的最大值，防止因为内存溢出导致的错误

17.SkipBadRecord开启跳跃模式，跳过失败的坏记录

mapred.map.max.attemps mapred.reduce.attemps 一次只能跳过一个错误记录

18.关闭安全模式

hadoop dfsadmin -safemode leave

微信关注我们

原文链接：https://yq.aliyun.com/articles/60186

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-09-08 00:00:00

Hive Tuning(三) 从查询计划看hive.auto.convert.join的好处

今天我们来讲一下如何看懂Hive的查询计划。 hive的执行计划包括三部分: – Abstract syntax tree – 可以直接忽略 – Stage dependencies – 依赖 – Stage plans – hive如何执行任务的信息。下面还是以一个案例作为说明设置自动连接为false的话，要走5步。 4 Map Reduces tells you something is not right. Stage: Stage-1 Map Reduce Stage: Stage-2 Map Reduce Stage: Stage-3 Map Reduce Stage: Stage-4 Map Reduce 设置自动连接为true就只有4步 Only 2 Map Reduces Stage: Stage-8 Map Reduce Stage: Stage-4 Map Reduce h...

728

2016-09-08 00:00:00

Spark Tungsten in-heap / off-heap 内存管理机制

前言发现目前还没有这方面的文章，而自己也对这块比较好奇，所以就有了这篇内容。分析方式基本是自下而上，也就是我们分析的线路会从最基础内存申请到上层的使用。我们假设你对sun.misc.Unsafe 的API有一些最基本的了解。 in-heap 和 off-heap (MemoryAllocator) 首先我们看看 Tungsten 的 MemoryAllocator off-heap => org.apache.spark.unsafe.memory.UnsafeMemoryAllocator in-heap => org.apache.spark.unsafe.memory.HeapMemoryAllocator off-heap 获取内存很简单： long address = Platform.allocateMemory(size); 这样就拿到内存的地址了。这是一个绝对地址，64bit 应该够大。注意，所有的内存都需要8byte对齐。 in-heap 则是维护了一个long类型数组： long[] array = new long[(int) (size / 8)...

542

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。