【内存碎片/内存空洞】
内存碎片/内存空洞
内存碎片:
程序长时间运行后,由于不停的malloc/free操作,尽管不存在内存泄露,但程序所占用的内存空间越来越大,有时候还会导致malloc申请失败,这就是由于内存碎片所导致。
产生原因:
非mmap申请的内存,其释放,只能从堆顶开始。中间部分的内存即使通过free释放掉,但仍然是被当前程序所占用,并未彻底释放到堆中,无法供其他程序使用。只有堆顶部分内存也释放后,这片区域才能融合成一大片空间。
解决方案:
此问题没有最终的完美的解决方案。
尽可能多采用内存空间的复用,减少频繁申请大量小的内存块的操作。
对程序所需要的动态内存进行统一规划。把需要长时间占用的内存的申请操作,在程序刚启动后初始化时进行,把不需要长时间占用的内存的申请操作,后执行。这样堆顶可以尽早释放。
但要注意的是,内存分配不一定是顺序的,即后来申请的内存地址不一定就比原来的内存地址大,可能用了之前释放的一片区域。
内存空洞和内存泄漏造成的内存增长是有区别的:
内存泄漏是申请了的内存没有释放,如果你在做多次同样的操作,进程所使用的内存应该保持同样的一个速度进行增长。
内存空洞是申请并释放了的内存由于不处于堆顶无法返还给系统,但是这些内存还是能留给进程自身使用,所以如果你做多次同样的操作,进程所使用的内存应该停留在一个水平线上,不怎么增长,或者增长不多。
程序员可以根据这个现象来判断,你的进程中存在的是内存泄漏还是内存空洞。
在实际情况中,内存空洞的现象并很多,通过我的观察在堆中,更多的是内存的碎片而不是内存空洞。因此程序员对于内存空洞只要了解这个概念,在申请分配内存时,本着就近原则就可以了,需要的时候才分配内存,不需要了立刻释放。不必去严格的追求申请和释放的顺序,也做不到。
Linux 内核只能通过缩小线性内存区的方式来释放物理内存。
方法一,通过使用系统调用 brk,来改变堆顶地址释放内存。
优点:
算法简单,系统调用少,效率高。
缺点:
堆顶下方的物理页面即使空闲也无法及时释放。
方法二:,通过将对应堆的线性区拆分,将中间的物理页面释放掉。
优点:
堆顶下方的内存能够得到即使的释放。
缺点:
算法复杂,涉及到线性区的拆分与合并,有可能会导致进程堆段形成多个不连续的小块内存空间,对进程的性能影响较大。
综合以上因素,linux 内核选则了通过调整堆顶来扩展和释放内存空间。
它也决定了,只要堆顶部还有内存在使用,堆顶下方不管释放了多少内存都不会被释放,这也就是我们经常所说的内存空洞。
除了通过 brk 扩展堆顶地址外,我们还提到了另外一种内存分配方式mmap。当libc 在处理大块内存分配时,其会调用mmap 来分配一块地址空间;当释放时,直接调用unmmap 释放掉该段内存空间,因此对于这种大块内存分配的申请和释放,就不会存在内存空洞的问题。
你可以通过使用mmap 分配内存的阀值,来减少内存空洞的概率。代价是,可能会使用更多的系统调用,降低进程的性能。
要想消除内存空洞的影响,就要求我们在申请和释放内存时,要严格依照就近原则,最先释放堆顶地址的内存。可控制内存的申请和释放的顺序难度十分的大;另外由于内存碎片的影响,每次申请得到的内存地址都带有一定的随机性,后面申请的内存,并不一定就意味着在
堆顶;这简直是Mission impossible。
做为一个程序员,我很受挫折,我无能为力,我调用 free 都释放内存,可它并不一定会返还到系统中,我无法完全控制我程序的行为,谁又能保证堆顶没有那么一块正在使用的内存呢?这也给很多程序员以藉口,在测试中我们程序内存使用量增长,要求他们去检查时,他们往
往会说,“内存我都释放了,这是内存空洞造成的,我也无能为力。”。老板也无话可说,内存空洞简直成了我们的噩梦。