超越内存限制:深入探索内存池的工作原理与实现
本文分享自华为云社区《超越内存限制:深入探索内存池的工作原理与实现》,作者:Lion Long。
一、引言
为什么需要内存池?
在系统应用层面,程序开发使用的都是虚拟内存。物理内存是底层的,只有底层程序(比如驱动、固件等)可以接触到。
程序通常能管理的内存主要是堆和共享内存(mmap)。应用层所谓的内存管理,主要是对堆上的内存池进行管理。
程序使用内存时,需要申请内存,通过调用malloc() / callol();使用完之后需要释放内存,调用free()。程序运行时会不断的申请内存、释放内存,会发现内存到后面可能出现不可控制的状态,比如还有总可用内存,但是无法分配下来了,这就是内存碎片,内存有很多的小窗口存在。
因此,需要内存管理,从而有内存池存在。通过内存管理避免内存碎片以及避免频繁的申请、释放内存。
new和malloc/callol关系:new是关键字,内部调用的是malloc/callol,delete和free一样,是对内存释放。
二、内存管理方式
分配内存的时候,分配的大小以及何时分配何时释放都是不确定的。因此,针对不同的常见有不同的内存管理方式。
(1)不管需要的内存大小,每次分配固定大小的内存。这可以有效的避免内存碎片,但是内存利用率低。
(2)以2n 累积内存池。可以提升内存的利用率,但是回收是一个很大的工程,没办法做到两块相邻的内存合在一起。
(3)大、小块。内存池中分大小块,申请内存大小大于某个值定为大块、否则是小块,内部使用链表串联。
三、posix_memalign()与malloc()
malloc / alloc函数原型:
#include <stdlib.h> void *malloc(size_t size); void free(void *ptr); void *calloc(size_t nmemb, size_t size); void *realloc(void *ptr, size_t size);
描述:
malloc函数的作用是分配大小字节并返回分配内存的指针。分配的内存未初始化。size=0,则malloc返回NULL或唯一的指针值,稍后可以成功传递给free()。
free函数释放ptr指向的内存空间,该空间必须是先前调用malloc()、calloc()或realloc()返回的。否则,或者如果之前已经调用了free(ptr),则会发生未定义的行为。如果ptr为空,则不执行任何操作。
calloc函数为每个size字节的nmemb元素数组分配内存,并返回分配内存的指针。内存被初始化为零。如果nmemb或size为0,则calloc()返回NULL或唯一的指针值,稍后可以成功传递给free()。
realloc函数将ptr指向的内存块大小更改为size字节。从区域开始到新旧尺寸的最小值,内容将保持不变。如果新大小大于旧大小,则不会初始化添加的内存。如果ptr为空,则对于size的所有值,调用等同于malloc(size);如果size等于零,且ptr不为空,则调用等同于free(ptr)。除非ptr为空,否则它必须是通过先前调用malloc()、calloc()或realloc()返回的。如果指向的区域被移动,则执行free(ptr)。
返回值:
malloc()和calloc()函数返回一个指向已分配内存的指针,该指针适合任何内置类型。出现错误时,这些函数返回NULL。如果成功调用大小为零的malloc(),或者成功调用nmemb或大小等于零的calloc(),也可能返回NULL。
free()函数不返回任何值。
realloc()返回一个指向新分配内存的指针,该指针适合任何内置类型,可能与ptr不同,如果请求失败,则为NULL。如果size=0,则返回NULL或适合传递给free()的指针。如果realloc()失败,则原始块保持不变;它不会被释放或移动。
错误:
calloc()、malloc()和realloc()可能会失败,并出现以下错误:
ENOMEM,内存不足。应用程序可能会达到getrlimit()中描述的RLIMIT_AS或RLIMIT-DATA限制。
malloc / alloc分配内存是有限制的,可能不能分配超过4k的内存的,为了内分配大内存,需要使用posix_memalign函数。
posix_memalign函数原型:
#include <stdlib.h> int posix_memalign(void **memptr, size_t alignment, size_t size); void *aligned_alloc(size_t alignment, size_t size); void *valloc(size_t size); #include <malloc.h> void *memalign(size_t alignment, size_t size); void *pvalloc(size_t size);
描述:
函数posix_memalign分配size字节,并将分配内存的地址放在memptr中。分配内存的地址将是alignment的倍数,必须是2的幂和sizeof(void)的倍数。如果大小为0,则放置在*memptr中的值要么为空,要么是唯一的指针值,稍后可以成功传递给free()。
返回:
posix_memalign()在成功时返回零,或在失败时错误值。在调用posix_memalign()之后,errno的值是不确定的。
错误值:
- EINVAL:对齐参数不是2的幂,或者不是sizeof(void*)的倍数。
- ENOMEM:内存不足,无法完成分配请求。
四、对齐计算
要分配一个以指定大小对齐的内存,可以使用如下公式:
假设要分配大小为n,对齐方式为x,那么 size=(n+(x-1)) & (~(x-1))。
举个例子:
n=17,x=4。即申请大小为17,对齐为4。则计算出对齐后的大小应该为
(17+4-1)&(~(4-1))=20;
用二进制来计算,(0001 0001 + 0011)&(1111 1100)=0001 0100
// 对齐 #define mp_align(n, alignment) (((n)+(alignment-1)) & ~(alignment-1)) #define mp_align_ptr(p, alignment) (void *)((((size_t)p)+(alignment-1)) & ~(alignment-1))
五、内存池的具体实现
5.1、内存池的定义
typedef struct mp_large_s { struct mp_large_s *next; void *alloc; }mp_large_t; typedef struct mp_node_s { unsigned char *last; // last之前为已使用的内存 unsigned char *end; // last到end之间为可分配内存 struct mp_node_s *next; size_t failed; }mp_node_t; typedef struct mp_pool_s { size_t max; mp_node_t* current; mp_large_t* large; mp_node_t head[0]; }mp_pool_t;
5.2、内存池的创建
mp_pool_t *mp_create_pool(size_t size) { mp_pool_t *p; // malloc无法分配超过4k的内存,size + sizeof(mp_pool_t) + sizeof(mp_node_s)保证有size大小可用 int ret = posix_memalign((void*)&p, MP_ALIGNMENT, size + sizeof(mp_pool_t) + sizeof(mp_node_t)); if (ret) return NULL; p->max = size; p->current = p->head; p->large = NULL; //(unsigned char*)(p + 1) // (unsigned char*)p + sizeof(mp_pool_t) p->head->last = (unsigned char*)p + sizeof(mp_pool_t)+sizeof(mp_node_t); p->head->end = p->head->last + size; p->head->failed = 0; return p; }
5.3、内存池的销毁
void mp_destory_pool(mp_pool_t *pool) { mp_node_t *h, *n; mp_large_t *l; for (l = pool->large; l; l = l->next) { if (l->alloc) { free(l->alloc); } } h = pool->head->next; while (h) { n = h->next; free(h); h = n; } free(pool); }
5.4、内存池的重置
void mp_reset_pool(mp_pool_t *pool) { mp_node_t *h; mp_large_t *l; for (l = pool->large; l; l = l->next) { if (l->alloc) { free(l->alloc); } } pool->large = NULL; for (h = pool->head; h; h = h->next) { h->last = (unsigned char *)h + sizeof(mp_node_t); } }
5.5、内存池分配小块
void *mp_alloc_small(mp_pool_t *pool, size_t size) { unsigned char *m; struct mp_node_s *h = pool->head; size_t psize = (size_t)(h->end - (unsigned char *)h); int ret = posix_memalign((void*)&m, MP_ALIGNMENT, psize); if (ret) return NULL; mp_node_t *p, *new_node, *current; new_node = (mp_node_t *)m; new_node->next = NULL; new_node->end = m + psize; new_node->failed = 0; m += sizeof(mp_node_t); m = mp_align_ptr(m, MP_ALIGNMENT); new_node->last += size; current = pool->current; for (p = current; p->next; p = p->next) { // 如存在多次分配失败,current不再指向此node if (p->failed++ > 4) { current = p->next; } } p->next = new_node; pool->current = current ? current : new_node; return m; }
5.6、内存池分配大块
static void *mp_alloc_large(mp_pool_t *pool, size_t size) { void *p = NULL; int ret = posix_memalign((void*)&p, MP_ALIGNMENT, size); if (ret) return NULL; mp_large_t *large; // 查找是否有已经释放的large,在large list里面找到一个 null的节点 size_t n = 0; for (large = pool->large; large; large = large->next) { if (large->alloc == NULL) { large->alloc = p; return p; } // 避免遍历链条太长 if (n++ > 3) break; } // 大内存块的头作为小块保存在small中 large = mp_alloc_small(pool, sizeof(mp_large_t)); // 头插法 large->alloc = p; large->next = pool->large; pool->large = large; }
5.7、申请内存
void *mp_malloc(mp_pool_t *pool, size_t size) { if (size > pool->max) return mp_alloc_large(pool, size); mp_node_t *p = pool->current; while (p) { if (p->end - p->last < size) { p = p->next; continue; } unsigned char *m = mp_align_ptr(p->last, MP_ALIGNMENT); p->last = m + size; return m; } return mp_alloc_small(pool, size); } void *mp_calloc(mp_pool_t *pool, size_t size) { void *p = mp_malloc(pool, size); if (p) { memset(p, 0, size); } return p; }
5.8、释放内存
void mp_free(mp_pool_t *pool, void *p) { mp_large_t *l; for (l = pool->large; l; l = l->next) { if (p == l->alloc) { free(l->alloc); l->alloc = NULL; return; } } }
5.9、完整示例代码
为避免文章篇幅过长,完整代码已上传gitee:内存池完整示例代码。
总结
设计一个内存池,可以有效的避免内存碎片和避免频繁的内存创建‘释放。程序通常能管理的内存主要是堆和共享内存(mmap)。应用层所谓的内存管理,主要是对堆上的内存池进行管理。
内存管理方式,使用比较多的是以2n堆叠内存池以及大小块方式管理。nginx就是使用的大小块方式管理内存;为每个IO建立自己的内存池,IO生命周期结束再释放内存。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Databend 开源周报第112期
Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。 What's On In Databend 探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。 理解用户自定义函数(UDF) 用户自定义函数(User-Defined Function,UDF)允许你的自定义操作与 Databend 进行集成,从而更好地处理数据、执行任务,构造更合理的数据工作流。 Databend 目前支持两种形式的用户自定义函数:使用 SQL lambda 表达式编写或者用 Python 等编程语言实现 UDF 服务器注册。用户自定义函数可以作为 Databend 查询处理流程的一部分执行。 使用 UDFs 的优点包括: 自定义数据转换。 优化性能。 改善代码可重用性。 如果您想了解更多信息,请查看下面列出的资源。 Docs | User-Defined Function Code Corner 一起来探索 Databend 和周边生态中的代码片段或项目。 使用 Prometh...
- 下一篇
VMware:一个多云+AI的未来
“以往在应用人工智能时,首先你需要一个基础算法模型,然后使用特定的数据进行处理,最后再将其加人到应用程序上……但是很显然,这里的每一步骤都涉及到法律和隐私问题:算法模型的知识产权、私人数据的法律风险,以及对模型本身的访问和控制。因此在一年多以前,我们成立了一个AI Labs的部门,专门致力于解决这些问题。最终,我们找到了答案:Private AI”。VMware 首席执行官Raghu Raghuram在VMware Explore 2023 Las Vegas上如是说。 (VMware 首席执行官 Raghu Raghuram在VMware Explore 2023 Las Vegas推出Private AI) 显而易见的一点是:随着Raghu Raghuram宣布推出Private AI(私有AI),就注定AI已经成为本次大会最亮眼的标签——就像VMware曾经在2019年推出Tanzu一样——这个有些类似私有云的概念,即表明VMware将投入更大关注在AI大规模企业级应用领域,同时,其必然会对VMware原有的产品结构和业务逻辑,甚至商业布局,产生微妙且深刻的影响。 要理解此次关注...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Linux系统CentOS6、CentOS7手动修改IP地址