您的位置:首页 > 运维架构 > Linux

内存空洞

2015-04-13 15:53 281 查看
堆内存释放,是从堆顶开始。那么如果堆中间的一块区域,大部分内存都释放了,堆顶还有一些会怎么样呢?

我们来看个例子:

#include <stdlib.h>

#include <stdio.h>

#include <string.h>

#include <unistd.h>

int main()

{

char *p[11];

int i;

for(i=0;i<10;i++)

{

p[i]=(char *)malloc(1024*2);

strcpy(p[i],"123");

}

p[10]=(char *)malloc(1024*2);

strcpy(p[10],"123");

for(i=0;i<10;i++)

{

free(p[i]);

}

pid_t pid=getpid();

printf("pid:%d\n",pid);

pause();

return 0;

}

这里我申请了 11 个2k 的内存,然后将前10 个2k 内存释放掉,只剩下堆顶一个2k。

按我们正常的逻辑,进程应该只是占用了一个物理页面,可实际上呢?

我们查看 memmap 的结果,可以看到

1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

这个例子是,堆顶指针没变,堆顶下面的内存被释放了。

让我们来想想 libc 会怎么办?

第一个想法,也是最合理的方法,堆顶下面哪个页面空闲了,就将那个物理页面释放掉,返

还给系统。

Linux 内核只能通过缩小线性内存区的方式来释放物理内存。

方法一,通过使用系统调用 brk,来改变堆顶地址释放内存。

优点:

算法简单,系统调用少,效率高。

缺点:

堆顶下方的物理页面即使空闲也无法及时释放。

方法二:,通过将对应堆的线性区拆分,将中间的物理页面释放掉。

优点:

堆顶下方的内存能够得到即使的释放。

缺点:

算法复杂,涉及到线性区的拆分与合并,有可能会导致进程堆段形成多个不连续的小块

内存空间,对进程的性能影响较大。

综合以上因素,Linux 内核选则了通过调整堆顶来扩展和释放内存空间。

它也决定了,只要堆顶部还有内存在使用,堆顶下方不管释放了多少内存都不会被释放,这

也就是我们经常所说的内存空洞。

除了通过 brk 扩展堆顶地址外,我们还提到了另外一种内存分配方式mmap。当libc 在处理

大块内存分配时,其会调用mmap 来分配一块地址空间;当释放时,直接调用unmmap 释放

掉该段内存空间,因此对于这种大块内存分配的申请和释放,就不会存在内存空洞的问题。

你可以通过使用mmap 分配内存的阀值,来减少内存空洞的概率。代价是,可能会使用更多

的系统调用,降低进程的性能。

要想消除内存空洞的影响,就要求我们在申请和释放内存时,要严格依照就近原则,最先释

放堆顶地址的内存。可控制内存的申请和释放的顺序难度十分的大;另外由于内存碎片的影

响,每次申请得到的内存地址都带有一定的随机性,后面申请的内存,并不一定就意味着在

堆顶;这简直是Mission impossible。

做为一个程序员,我很受挫折,我无能为力,我调用 free 都释放内存,可它并不一定会返

还到系统中,我无法完全控制我程序的行为,谁又能保证堆顶没有那么一块正在使用的内存呢?

这也给很多程序员以藉口,在测试中我们程序内存使用量增长,要求他们去检查时,他们往

往会说,“内存我都释放了,这是内存空洞造成的,我也无能为力。”。老板也无话可说,内

存空洞简直成了我们的噩梦。

内存空洞和内存泄漏造成的内存增长是有区别的:

内存泄漏是申请了的内存没有释放,如果你在做多次同样的操作,进程所使用的内存应该保

持同样的一个速度进行增长。

内存空洞是申请并释放了的内存由于不处于堆顶无法返还给系统,但是这些内存还是能留给

进程自身使用,所以如果你做多次同样的操作,进程所使用的内存应该停留在一个水平线上,

不怎么增长,或者增长不多。

程序员可以根据这个现象来判断,你的进程中存在的是内存泄漏还是内存空洞。

在实际情况中,内存空洞的现象并很多,通过我的观察在堆中,更多的是内存的碎片而不是

内存空洞。因此程序员对于内存空洞只要了解这个概念,在申请分配内存时,本着就近原则

就可以了,需要的时候才分配内存,不需要了立刻释放。不必去严格的追求申请和释放的顺

序,也做不到。

后面我将会介绍一种方法,通过它你可以观察当前进程的内存分布情况,你可以清楚的知道

进程内存碎片和内存空洞的情况。

虽然我给大家吃了很多宽心丸,但很多人还是不放心,担心他自己成为内存空洞的受害者。

难道我们对于内存空洞真的是无能为力吗?

实际上堆的内存管理机制有很多种,你也可以按照自己的要求来自己编写内存管理机制。前

面我们介绍的是libc 中自带的内存管理机制Doug Lea Malloc。

Doug Lea Malloc:Doug Lea Malloc 实际上是完整的一组分配程序,其中包括 Doug Lea 的

原始分配程序,GNU libc 分配程序和 ptmalloc。 Doug Lea 的分配程序加入了索引,这使

得搜索速度更快,并且可以将多个没有被使用的块组合为一个大的块。它还支持缓存,以便

更快地再次使用最近释放的内存。

这里我简单介绍另外一种内存管理机制 BSD Malloc。

BSD Malloc:BSD Malloc 是随 4.2 BSD 发行的实现,包含在 FreeBSD 之中,这个分配程

序可以从预先确定大小的对象构成的池中分配对象。它有一些用于对象大小的 size 类,这

些对象的大小为 2 的若干次幂减去某一常数。所以,如果您请求给定大小的一个对象,它

就简单地分配一个与之匹配的 size 类。这样就提供了一个快速的实现,但是可能会浪费内

存。

据说这种算法可以消除内存空洞,因为它把原来的一个内存段,编程了多个内存段,从而减

小了内存空洞的影响,而性能下降不多。

有人尝试着将其移植到嵌入式 Linux 设备上,据说每个进程的内存的堆可以减少1/3,但是

否有负作用不清楚,有待检验。有兴趣的朋友可以尝试一下。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息