文档开发者中心
我的

【综合】【码农漫游计算机-6】动态内存分配

作者:HW-HM


上一篇文章【码农漫游计算机-5】虚拟内存的好处,我们讨论了虚拟内存的好处,重点介绍了内存共享的典型方式,这一篇我们将讨论动态内存分配。

动态内存指的是堆中的内存(下图中的run-time heap),也就是程序运行时动态分配(例如malloc或new)的内存,这样的内存需要程序自己释放(例如free或delete),如果程序没有释放,又没有途径访问对应的内存(没有指针指向这块内存),就发生了内存泄漏,泄漏的内存直到进程终止时才会回收,因为这时进程所有的内存空间都回收了。

给大家普及一下程序变量在进程空间中的存储。常量保存在只读段的rodata,已初始化的全局变量、静态变量保存在读写段的.data,未初始化的全局变量、静态变量保存在读写段的.bss,局部变量保存在用户栈中,通过malloc或new动态分配的内存保存在运行时堆中。常量、全局变量、静态变量一直都有效,局部变量在进入作用域生效(进入函数压栈),退出作用域失效(函数返回出栈),所以只有动态分配的内存才有泄漏的可能。可结合下图来看,我们常说的代码段、数据段其实是这里的只读段和读写段。

为什么Java没有内存泄漏呢?Java采用的是隐式分配器(也叫垃圾收集器),分配器检测到已分配块不再被程序使用,就会释放这个块。基本原理如下,维护一张有向图记录动态分配内存的可达性,该图分为根节点和堆节点,根节点对应不在堆中的位置,它们包含指向堆中的指针,有向边p->q意味着p中某个位置指向q中某个位置。不存在根节点的路径是不可达的,其对应的内存可以释放。

C++采用的是显式分配器,要求应用显示释放分配的块。我们来简要看一下malloc的过程。

应用调用malloc请求分配内存(假设4个字节),C语言库发现没有堆空间了,于是调用Linux系统函数brk扩展堆空间,操作系统将堆空间扩展一页(分配对应的物理内存,设置页表项,页是操作系统内存管理的最小单位,大小通常为4K),C语言库从这一页中取出4字节分配给应用,这一页剩下的空间还未分配,C语言必须将这个事实记录下来,以便后续分配。在释放内存时,应该是分配了多少,就释放多少,所以C语言库分配时还要记录分配块的大小等信息。保存这些信息的一种方式是隐式空闲链表,链表的每个节点是一个块,块包括了块大小、是否空闲、有效负荷(分配给应用的内存)等信息,通常块还要求字节对齐。如下是一个隐式空闲链表节点结构图:

如下是内存分配后堆中内存结构图:

采用隐式空闲链表的优点是简单,缺点是慢、不安全。慢是因为分配时要遍历空闲链表,不安全是因为如果程序越界写,会将节点写乱,例如将下一个分配节点的块大小写成了一个很大的值,会导致释放这个节点对应的块时出现异常。

另外一种办法是分离适配,分配器维护着一个空闲链表数组,每个空闲链表和一个大小类相关联,并且被组织成显示或隐式链表。例如数组第一项为大小在1-4字节隐式空闲链表,第二项为大小在5-8字节隐式空闲链表。为分配一个块,在对应的大小类中查找即可;如果找不到,再到下一个大小类中查找,如果找到了,这将这个类进行分割,将剩余部分插入到适当的空闲链表中;如果所有块都找不到,则需要扩展堆空间。这种方式的优点是速度快,但也相对复杂。

内存在经过多次的分配和回收之后会产生外部碎片,即空闲块合起来可以满足分配需求,但是却没有一个单独的块可以满足。内存分配也会产生内部碎片,发生在已分配块比有效负荷大时,产生的原因很多,例如对分配块强加了一个最小的大小值、增加块大小满足对齐条件。减少内存碎片的一个办法是调整内存管理参数,可参考内存空洞及内存分配算法研究.rar,减少内存碎片的另一个办法是对频繁使用的大小固定的动态内存,自己进行管理,也就是我们常说的内存池。当然了你始终得坚持一个原则,尽量少用动态内存分配。

接下来回答最后一个问题,为什么在呼叫量降下来之后,通过top命令看到的进程占用的内存空间并没有下降。

top命令看到%mem是进程的物理内存占用百分比,呼叫量上升时会大量增加,增加的部分几乎都是动态分配的。Linux的堆空间要么从堆顶往上扩张(调用brk时传入正数)增加堆空间,要么从堆顶往下收缩(调用brk时传入负数)减少堆空间,堆顶到共享库之间的地址空间是不可用的。这就意味着从堆顶往下存在的第一块被使用的内存(呼叫量降下来之后未释放的内存空间地址最靠近堆顶的那一块)之下的空间都不能释放,而我们的程序动态分配的内存并不具有强的规律性,这一块位于堆的上端的可能性非常大,而操作系统内存管理的最小单位是页,这一块往往就在堆顶的那一页或几页,所以堆空间几乎不会减少,占用的物理内存因此也不会下降。


点赞
收藏
回复
26
分享
举报
浏览1029 发布于2019-12-10 05:46未知归属地
全部评论
最多点赞
最新发布
最早发布

26楼回复于2019-12-13 02:09 未知归属地

楼主用心的,还链接了这一系列的文章

25楼回复于2019-12-13 02:09 未知归属地

希望楼主分享更多好帖呦

24楼回复于2019-12-10 08:31 未知归属地

这一系列文章都很不错,干货满满

23楼回复于2019-12-10 08:20 未知归属地

大家可以多多交流,多多提问哦,我会分享更多作者的好文章哦

22楼回复于2019-12-10 05:50 未知归属地
21楼回复于2019-12-10 05:50 未知归属地
20楼回复于2019-12-10 05:50 未知归属地
19楼回复于2019-12-10 05:50 未知归属地
18楼回复于2019-12-10 05:49 未知归属地
17楼回复于2019-12-10 05:49 未知归属地
共3页
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

了解社区公约,与您携手共创和谐专业的开发者社区。