Java技术专题-JVM研究系列(22)你很少了解的直接内存(上)
每日一句
我们始于迷惘,终于更高水平的迷惘。(我最喜欢的名句,哈哈)
JDK7和JDK8的内存结构对比
从上面的图中可以看到Java8相比Java7来讲将方法区的实现,从非堆空间(其实逻辑与堆相连,所属于运行时数据区内部)迁移到了本地内存中,不会造成FullGC过多的压力以及与老年代的耦合度过高的问题,减少FullGC的扫描范围,从而改为手动去回收机制(也可以自动回收需要配置调整)。 之前的文章里面介绍了JVM的运行时数据区的相关介绍,一直对直接内存的研究和学习较少,现在我们就开始介绍一下直接内存的分配方式以及回收方式。
直接内存的定义
1. 常见于NIO操作时,用于数据缓冲区(ByteBuffer.allocate),当然也可以采用Unsafe类进行native方法运作进行申请直接内存。
2. 分配回收成本较高(属于操作系统内存),但读写性能高。(因为直接内存不需要经过JVM解释器进行地址映射转换到系统真正内存,故此读写速度会比堆内存在快很多,但是申请和回收机制角度而言复杂,因为属于直接由操作系统进行管理,而非JVM直接进行管理。
3. 不受JVM内存回收管理(依旧存在内存溢出的问题),此外受限制与操作系统物理内存,以及我们可以手动设置它的阈值(MaxDirectMemory),默认情况下来讲直接内存几乎没有限制(当没有超出物理内存的控制而言)
4. jvm的内存分配与回收是自动的,不需要手动调用任何的方法,但是直接内存需要我们手动调用方法。
直接内存基本使用(IO操作举例)
- Java堆内存:
- 使用直接内存后,可以减少步骤:
可以看出来,直接内存无需进行与java堆内存进行映射和转换,可以直接去操作系统内存。
直接内存导致的内存溢出问题
书写程序:每次都分配直接内存,直到内存溢出
public class Test1 { static int _100Mb=1024*1024*100; public static void main(String[] args) { List<ByteBuffer> list=new ArrayList<>(); int i=0; try { while (true){ ByteBuffer byteBuffer=ByteBuffer.allocateDirect(_100Mb); list.add(byteBuffer); i++; } }finally { System.out.println(i); } } }
测试结果:
Exception in thread "main" java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:694) at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123) at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311) at pers.zhb.test.Test1.main(Test1.java:15)
直接内存的分配与回收(底层通过Unsafe对象管理)
直接内存的分配与回收
运行程序前:
直接内存的分配与释放程序:
public class Test1 { static int _1Gb=1024*1024*1024; public static void main(String[] args) throws IOException { ByteBuffer byteBuffer=ByteBuffer.allocateDirect(_1Gb); System.out.println("分配完毕"); System.in.read(); System.out.println("开始释放"); byteBuffer=null; System.gc(); } }
分配直接内存后:
可以看出来相关的多出一个java的进程,并且内存占用1037M,所以也证实了我们的猜测和预想。
在IDEA的控制台点击回车对内存进行释放:
可以看到恢复到了原始的状态。
控制台打印出分配与回收的提示:
分配完毕 开始释放 Process finished with exit code 0
其中System.gc() ,强制执行FullGC,回收掉byteBuffer对象
至此,我们的推测全部验证通过,直接内存会采用另外一个进程去存储相关的系统内存区域,并且不属于jvm内存之内的管理。
Unsafe实现对直接内存的分配与回收:
public class Test1 { static int _1Gb=1024*1024*1024; public static void main(String[] args) throws IOException { Unsafe unsafe=getUnsafe(); //分配内存 long base=unsafe.allocateMemory(_1Gb); unsafe.setMemory(base,_1Gb,(byte)0); System.in.read(); //释放内存 unsafe.freeMemory(base); System.in.read(); } public static Unsafe getUnsafe(){ Field field= null; try { field = Unsafe.class.getDeclaredField("theUnsafe"); } catch (NoSuchFieldException e) { e.printStackTrace(); } field.setAccessible(true); Unsafe unsafe= null; try { unsafe = (Unsafe)field.get(null); } catch (IllegalAccessException e) { e.printStackTrace(); } return unsafe; } }
jvm的内存分配与回收是自动的,不需要手动调用任何的方法,但是直接内存需要我们手动调用方法。
ByteBuffer源码
ByteBuffer (属于工具方法、工厂方法)
ByteBuffer byteBuffer= ByteBuffer.allocateDirect(_1Gb);
allocateDirect(分配内存方法)
public static ByteBuffer allocateDirect(int capacity) { return new DirectByteBuffer(capacity); }
DirectByteBuffer(直接内存的对象)
DirectByteBuffer(int cap) { super(-1, 0, cap, cap); boolean pa = VM.isDirectMemoryPageAligned(); int ps = Bits.pageSize(); long size = Math.max(1L, (long)cap + (pa ? ps : 0)); Bits.reserveMemory(size, cap); long base = 0; try { base = unsafe.allocateMemory(size); } catch (OutOfMemoryError x) { Bits.unreserveMemory(size, cap); throw x; } unsafe.setMemory(base, size, (byte) 0); if (pa && (base % ps != 0)) { // Round up to page boundary address = base + ps - (base & (ps - 1)); } else { address = base; } cleaner = Cleaner.create(this, new Deallocator(base, size, cap)); att = null; }
底层用到的依旧是unsafe对象
优缺点
优点
- 减少了垃圾回收
堆外内存是直接受操作系统管理(不是JVM)。这样做能保持一个较小的堆内内存,以减少垃圾收集对应用的影响。
- 提升IO速度
堆内内存由JVM管理,属于“用户态”;而堆外内存由OS管理,属于“内核态”。如果从堆内向磁盘写数据时,数据会被先复制到堆外内存,即内核缓冲区,然后再由OS写入磁盘,使用堆外内存避免了这个操作。
缺点
- 没有JVM协助管理内存,需要我们自己手动来管理堆外内存,防止内存溢出同时也为了避免一直有FULL GC,最终导致物理内存被耗完。
我们会指定直接内存的最大值,通过-XX:MaxDirectMemorySize来指定,当达到阈值的时候,调用system.gc来进行一次full gc,把那些没有被使用的直接内存回收掉。
- 此外,分配直接内存和回收内存的性能和速度也比较复杂,所以成本也会很高,特别是回收需要FullGC、分配内存的时候,需要切换一次用户态到系统态的操作,分配直接内存,从而用用户态的句柄来引用系统态的内存空间。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
《2021中国开源发展蓝皮书》发布
开源软件以开放、共享、协同的新型生产方式,成为全球信息技术发展的强大推动力。回顾过去的一年,开源在全世界范围内迎来了新时期的大发展。来自各方的数据显示,2020年中国开源的发展速度已成为全球最快,中国开源已经接近或部分达到世界先进水平。 2021 年 5 月 10 日,由中国开源软件推进联盟发起,联合中国电子信息产业发展研究院、中国开发者网络CSDN 、中国网络空间研究院、中国电子技术标准化研究院、开源社、开源中国、北京大学、国防科技大学、华东师范大学等几十家科研院所、科技企业,共同重磅发布《2021中国开源发展蓝皮书》以下简称《蓝皮书》,旨在全面梳理、展现当前中国开源发展的真实图谱。 对此,Linux 基金会执行董事 Jim Zemlin 为该书特撰贺辞称:“30年前中国正式引进了 UNIX,中国的开源运动从此开始……中国开源发展很快,如今已接近或达到世界先进水平,一些企业开始进入世界领跑者行列,还涌现出杰出的开源领袖……我们期望中国在开源的教育、标准化、立法、知识产权保护,以及开源社区、基金会、风险投资等建设方面,在已取得很大进步的基础上更上一层楼!” 中国开源软件推进联盟名誉主席...
- 下一篇
五一假期回乡,趁周末跟大家聊聊感触
今年春节时候由于疫情,在外没能回家,于是趁着五一假期带着家人一起回家一趟,感慨颇多。今天咱们暂不聊技术,趁着周末梳理下思绪,跟大家好好聊聊一些关于故乡的感触。 寒门贵子 记得前段时间,中科院博士黄国平博士毕业论文的致谢内容刷屏网络,一时间勾起了很多人“寒门贵子”的情感摆在了面前,这必然少不了大家对故乡的思念。 最近几年,好多人感叹“寒门再难出贵子”,其实哪怕生来你就拿到一副烂牌,也别灰心,因为你手里,至少还有读书这张王炸。 如果人生之路真的有捷径,读书可能是改变命运最好的路。 因为我自己,包括身边好多朋友都是靠着读书一步步走出贫困的农村,来到大城市打拼,甚至已有自己的事业的。 故乡,事关我们的出身, 永远是我们心头的最亲的牵挂。 聊起故乡 当我们聊起故乡,我们在聊的到底是什么呢? 是那回不去的童年?尚未老去的父母?永远在舌尖儿回荡在心头萦绕的味道?还是,那个简单纯粹真实明亮的最初的自己? 好像中国人心中的故乡总是离不开味道,所以《舌尖上的中国》才会那么火,因为它勾起了数亿人天涯羁旅萦绕心头无法排遣的乡愁。 多年后的今天,回到家乡之后,我和发小在馆子里吃槐花儿蒸菜的时候,想的是那个和小伙...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Red5直播服务器,属于Java语言的直播服务器
- Linux系统CentOS6、CentOS7手动修改IP地址
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2全家桶,快速入门学习开发网站教程
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长