Spark 1.6以后的内存管理机制-低调大师

Spark 1.6以后的内存管理机制

2016-11-12 544 89

Spark 内部管理机制

　　Spark的内存管理自从1.6开始改变。老的内存管理实现自自staticMemoryManager类，然而现在它被称之为”legacy”. “Legacy” 默认已经被废弃掉了，它意味着相同的代码在1.5版本与1.6版本的输出结果将会不同。需要注意的是，出于兼容性的考虑，你依旧可以使用”legacy”，通过设置spark.memory.useLegacyMode改变。自从spark1.6版本开始，内存管理将实现自UnifiedMemoryManager.那么新的内存管理如下图：

1、预留内存。

为系统预留的内存。同时它是写死的300MB大小。这300MB的内存大小并不在spark计算与缓存内存之中，同时它在任何情况下都不能被改变，除非重新编译或者是设置参数spark.testing.reservedMemory。

事实上，它并不被spark所用，即便你想将所有的内存设置为堆内存为spark缓存数据，你也无法占用这一部分内存资源。（用来存储spark的对象信息等）所以如果你不给spark的每个executor至少1.5*Reserved Memory = 415MB,将会报 please use larger heap size的错误信息。

2、计算内存

它是一个为spark分配的内存池。它取决于你使用它的方式，可将数据结构用于transformations操作，比如，你可以将你的聚合类操作使用mapPartitions转换为hash表的形式进行操作。那么它将消耗spark的使用内存。

在spark1.6.0的内存池中，计算内存的容量为(“java Heap”-300MB)*(1-spark.memory.fraction)，如果按照默认的设置为(“java-heap”-“Reserved Memory) * 0.25。所以在代码中，我们需要根据数据量来设定相关的参数，来防止OOM的发生。

3、存储内存

Spark的存储内存被也分为存储内存与执行内存。它们的比例可通过spark.memory.storageFraction来设置。默认值为0.5 。使用这种新的内存管理机制的好处在于，使用边界不再是静态的。

Storage Memory 这个资源池被Spark用来缓存数据以及那些没有进行展开的序列化数据作的临时空间，所有的boradcast的广播变量也存储于该缓存块中。那些没有展开的序列化数据将会被返回driver。以及所有的boadcast广播数据的等级来源于 MEMORY_AND_DISK的设置等级。

Execution Memory 这个资源池按我的理解，用来执行shuffle操作的task。它主要用于shuffle过程中map结果的缓存，是以hash作为聚合散列的。同时，支持如果没有足够的内存时，将map的结果写入磁盘。所以，不是说shuffle操作就直接将数据写入磁盘的，也是有个内存缓冲区，我还在想，连hadoop都有缓冲环了，spark还是直接写磁盘吗？NONONO。。

本文翻译自一位国外大神的博客：https://0x0fff.com/spark-memory-management/

微信关注我们

原文链接：https://yq.aliyun.com/articles/608992

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-11-12 00:00:00

CDH 5.x 集群安装及卸载

上次写了CDH安装测试总结，由于那个博客篇幅略长，但是主要集中在第二章，所以单独把CDH安装、卸载这块的内容拉出来在一篇记录一下。一．搭建远程yum源 1.启动http服务： service httpd start 2.挂载镜像文件rhel6.6.iso到/var/www/html下的任意文件夹 mount -o loop /RHEL-6.6Server.iso /var/www/html/rhel66 3.cd 到/etc/yum.repos.d 目录下，先把已有的repo做备份，并建立以”.repo”结尾的文件，这里我建立的是rhel66.repo，内容如下： [rhel66] name=rhel66 baseurl=http://serverIP/rhel66 enabled=1 gpgcheck = 0 #gpgkey = http://yourIP/rhel65/RPM-GPG-KEY-redhat-release 4.配置完成后用命令： yum clean all 进行刷新 yum makecache 5.输入yum install httpd，打开浏览器，输入ip/r...

507

2016-11-13 00:00:00

Spark shuffle详细过程

有许多场景下，我们需要进行跨服务器的数据整合，比如两个表之间，通过Id进行join操作，你必须确保所有具有相同id的数据整合到相同的块文件中。那么我们先说一下mapreduce的shuffle过程。 Mapreduce的shuffle的计算过程是在executor中划分mapper与reducer。Spark的Shuffling中有两个重要的压缩参数。spark.shuffle.compress true---是否将会将shuffle中outputs的过程进行压缩。将spark.io.compression.codec编码器设置为压缩数据，默认是true.同时，通过spark.shuffle.manager 来设置shuffle时的排序算法，有hash,sort,tungsten-sort。（用hash会快一点，我不需要排序啊~） Hash Shuffle 使用hash散列有很多缺点，主要是因为每个Map task都会为每个reduce生成一份文件，所以最后就会有M * R个文件数量。那么如果在比较多的Map和Reduce的情况下就会出问题，输出缓冲区的大小，系统中打开文件的数量，...

661

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。