欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【内存碎片/内存空洞】

程序员文章站 2022-06-13 17:28:45
...

内存碎片/内存空洞

内存碎片: 

程序长时间运行后,由于不停的malloc/free操作,尽管不存在内存泄露,但程序所占用的内存空间越来越大,有时候还会导致malloc申请失败,这就是由于内存碎片所导致。


【内存碎片/内存空洞】
            
    
    博客分类: linux 【内存碎片/内存空洞】 
 

产生原因: 

非mmap申请的内存,其释放,只能从堆顶开始。中间部分的内存即使通过free释放掉,但仍然是被当前程序所占用,并未彻底释放到堆中,无法供其他程序使用。只有堆顶部分内存也释放后,这片区域才能融合成一大片空间。

 

解决方案: 

此问题没有最终的完美的解决方案。

 

尽可能多采用内存空间的复用,减少频繁申请大量小的内存块的操作。

对程序所需要的动态内存进行统一规划。把需要长时间占用的内存的申请操作,在程序刚启动后初始化时进行,把不需要长时间占用的内存的申请操作,后执行。这样堆顶可以尽早释放。 

但要注意的是,内存分配不一定是顺序的,即后来申请的内存地址不一定就比原来的内存地址大,可能用了之前释放的一片区域。

 

 

内存空洞和内存泄漏造成的内存增长是有区别的:

内存泄漏是申请了的内存没有释放,如果你在做多次同样的操作,进程所使用的内存应该保持同样的一个速度进行增长。

内存空洞是申请并释放了的内存由于不处于堆顶无法返还给系统,但是这些内存还是能留给进程自身使用,所以如果你做多次同样的操作,进程所使用的内存应该停留在一个水平线上,不怎么增长,或者增长不多。

程序员可以根据这个现象来判断,你的进程中存在的是内存泄漏还是内存空洞。

在实际情况中,内存空洞的现象并很多,通过我的观察在堆中,更多的是内存的碎片而不是内存空洞。因此程序员对于内存空洞只要了解这个概念,在申请分配内存时,本着就近原则就可以了,需要的时候才分配内存,不需要了立刻释放。不必去严格的追求申请和释放的顺序,也做不到。


【内存碎片/内存空洞】
            
    
    博客分类: linux 【内存碎片/内存空洞】 
 

 

Linux 内核只能通过缩小线性内存区的方式来释放物理内存。

方法一,通过使用系统调用 brk,来改变堆顶地址释放内存。

优点:

算法简单,系统调用少,效率高。

缺点:

堆顶下方的物理页面即使空闲也无法及时释放。

 

 

方法二:,通过将对应堆的线性区拆分,将中间的物理页面释放掉。

优点:

堆顶下方的内存能够得到即使的释放。

缺点:

算法复杂,涉及到线性区的拆分与合并,有可能会导致进程堆段形成多个不连续的小块内存空间,对进程的性能影响较大。

 

综合以上因素,linux 内核选则了通过调整堆顶来扩展和释放内存空间。

它也决定了,只要堆顶部还有内存在使用,堆顶下方不管释放了多少内存都不会被释放,这也就是我们经常所说的内存空洞。

除了通过 brk 扩展堆顶地址外,我们还提到了另外一种内存分配方式mmap。当libc 在处理大块内存分配时,其会调用mmap 来分配一块地址空间;当释放时,直接调用unmmap 释放掉该段内存空间,因此对于这种大块内存分配的申请和释放,就不会存在内存空洞的问题。

你可以通过使用mmap 分配内存的阀值,来减少内存空洞的概率。代价是,可能会使用更多的系统调用,降低进程的性能。

要想消除内存空洞的影响,就要求我们在申请和释放内存时,要严格依照就近原则,最先释放堆顶地址的内存。可控制内存的申请和释放的顺序难度十分的大;另外由于内存碎片的影响,每次申请得到的内存地址都带有一定的随机性,后面申请的内存,并不一定就意味着在

堆顶;这简直是Mission impossible。

做为一个程序员,我很受挫折,我无能为力,我调用 free 都释放内存,可它并不一定会返还到系统中,我无法完全控制我程序的行为,谁又能保证堆顶没有那么一块正在使用的内存呢?这也给很多程序员以藉口,在测试中我们程序内存使用量增长,要求他们去检查时,他们往

往会说,“内存我都释放了,这是内存空洞造成的,我也无能为力。”。老板也无话可说,内存空洞简直成了我们的噩梦。

  • 【内存碎片/内存空洞】
            
    
    博客分类: linux 【内存碎片/内存空洞】 
  • 大小: 12 KB
  • 【内存碎片/内存空洞】
            
    
    博客分类: linux 【内存碎片/内存空洞】 
  • 大小: 63.7 KB