nginx代码分析-基本结构-ngx_pool_t内存池

自定义内存池作用:
提前分配好一定内存空间, 避免对于小块内存(不超过pagesize-1=4095B)的频繁分配和释放, 而是集中进行分配和释放, 提高效率并大大减少了内存碎片产生的可能性. 而对于大块内存的动态分配, 释放的时间消耗是可以接受的.
一. 主要数据结构

struct ngx_pool_large_s {
ngx_pool_large_t     *next;  // 链表指针
void                 *alloc;  // 指向分配的大块内存, 大于pagesize
};

typedef struct {
u_char               *last; // 指向已分配数据区最末
u_char               *end;  // 指向当前pool最末, last==end代表分配满
ngx_pool_t           *next; // 指向下一个 ngx_pool_t
ngx_uint_t            failed; //当前pool中不够分配, 调用ngx_palloc_block新加节点, current节点以及所有之后节点都会自加1
} ngx_pool_data_t;

struct ngx_pool_s {
ngx_pool_data_t       d;
size_t                max; //
ngx_pool_t           *current; // 指向当前分配内存时选择的第1个ngx_pool_t, failed 5次后指向current.d->next
ngx_chain_t          *chain;   // 挂一个chain结构, 由ngx_buf_t串联起来
ngx_pool_large_t     *large;   // 超过, 存放到大数据区
ngx_pool_cleanup_t   *cleanup;  // 挂载一些需要进行额外清理工作的数据, 如文件
ngx_log_t            *log;
};

typedef struct {
ngx_fd_t              fd;   // 对文件类型数据的封装
u_char               *name;
ngx_log_t            *log;
} ngx_pool_cleanup_file_t;

 

二. ngx_pool_t的创建, 销毁, 重置

ngx_pool_t *
ngx_create_pool(size_t size, ngx_log_t *log)
{ // 创建总长度为size大小的ngx_pool
ngx_pool_t  *p;
// 分配size大小的内存
p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);
if (p == NULL) {
return NULL;
}

p->d.last = (u_char *) p + sizeof(ngx_pool_t);
p->d.end = (u_char *) p + size;
p->d.next = NULL;
p->d.failed = 0;

size = size - sizeof(ngx_pool_t);  // 最大分配空间4095 B
p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL;

p->current = p;
p->chain = NULL;
p->large = NULL;
p->cleanup = NULL;
p->log = log;

return p;
}

如图为创建后的节点. ngx_pool_data_t中, 从last指向新分配的开始地址, end指向本节点可分配内存区末尾, last-end的大小来判断当前节点的内存是否够分配请求. next指向下一节点(当前节点满), Failed记录当前节点不能满足分配次数.

max记录当前内存池定义的一次最多分配空间长度(不超过4096B), current指向当前当前的ngx_pool_t节点, chain, large, cleanup目前未分配为空

void
ngx_destroy_pool(ngx_pool_t *pool)  // pool上所有数据释放, pool结构释放
{
ngx_pool_t          *p, *n;
ngx_pool_large_t    *l;
ngx_pool_cleanup_t  *c;

for (c = pool->cleanup; c; c = c->next) {
if (c->handler) {
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
"run cleanup: %p", c);
c->handler(c->data); // 销毁cleanup链表中的data
}
}

for (l = pool->large; l; l = l->next) {

ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0, "free: %p", l->alloc);

if (l->alloc) { // 释放大块内存
ngx_free(l->alloc);
}
}

for (p = pool, n = pool->d.next; /* void */; p = n, n = n->d.next) {
ngx_free(p);

if (n == NULL) {
break;
}
}
}

三. 在内存池上的内存管理

3.1 正常情况

客户代码调用ngx_palloc, 在pool上分配size大小的内存, 返回起始地址.

void *
ngx_palloc(ngx_pool_t *pool, size_t size)
{
u_char      *m;
ngx_pool_t  *p;

if (size <= pool->max) {

p = pool->current; // 跳到当前待分配pool节点

do {
m = ngx_align_ptr(p->d.last, NGX_ALIGNMENT); // 内存对齐

if ((size_t) (p->d.end - m) >= size) { // 当前节点剩余空间够分配
p->d.last = m + size;

return m;
}

p = p->d.next; // 跳到pool中下一个节点

} while (p);
// 当前pool中所有节点无法分配size大小的区域
return ngx_palloc_block(pool, size);
}
// 超过该pool定义的最大分配内存空间
return ngx_palloc_large(pool, size);
}

void *
ngx_pnalloc(ngx_pool_t *pool, size_t size)
// p->d.last处直接分配, 不做内存对齐

3.2 pool->current节点上不够分配size大小内存

若需要分配内存空间size过大, 调用ngx_palloc_large在ngx_pool_t->large上直接分配.

若当前pool中每个节点都无法分配size大小内存区, 则ngx_palloc_block在pool上新增一个节点, 在其上分配

static void *
ngx_palloc_block(ngx_pool_t *pool, size_t size)
{
u_char      *m;
size_t       psize;
ngx_pool_t  *p, *new, *current;

psize = (size_t) (pool->d.end - (u_char *) pool); // 内存池节点总长度

m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log); // 分配该节点长度大小的内存
if (m == NULL) {
return NULL;
}

new = (ngx_pool_t *) m;

new->d.end = m + psize;
new->d.next = NULL;
new->d.failed = 0;

m += sizeof(ngx_pool_data_t);
m = ngx_align_ptr(m, NGX_ALIGNMENT); // 64位机器, NGX_ALIGNMENT==8byte对齐
new->d.last = m + size;

current = pool->current;

for (p = current; p->d.next; p = p->d.next) {
if (p->d.failed++ > 4) {
current = p->d.next;
}
}

p->d.next = new; // 节点加到pool的链表尾

pool->current = current ? current : new; // 若current已经指向队尾

return m;
}

如果, p->current指向节点中不够分配size, 则新建节点, failed++, 在ngx_palloc_block创建新节点, 在新节点上分配size大小区域



 

3.3 大内存的分配, 释放

static void *
ngx_palloc_large(ngx_pool_t *pool, size_t size)
{
void              *p;
ngx_uint_t         n;
ngx_pool_large_t  *large;

p = ngx_alloc(size, pool->log); // 直接malloc内存
if (p == NULL) {
return NULL;
}

n = 0;

for (large = pool->large; large; large = large->next) {
if (large->alloc == NULL) {
large->alloc = p;
return p;
}

if (n++ > 3) { // 链表中超过3个指向内存非空large_t结构, 则不遍历到队尾, 放在链表头
break;
}
}

large = ngx_palloc(pool, sizeof(ngx_pool_large_t));
if (large == NULL) {
ngx_free(p);
return NULL;
}

large->alloc = p; // 新分配的large内存放在链表头
large->next = pool->large;
pool->large = large;

return p;
}

ngx_int_t
ngx_pfree(ngx_pool_t *pool, void *p)
{
ngx_pool_large_t  *l;
for (l = pool->large; l; l = l->next) {
if (p == l->alloc) { // 遍历large链表, 找到分配内存p所在后释放
ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
"free: %p", l->alloc);
ngx_free(l->alloc);
l->alloc = NULL;

return NGX_OK;
}
}

return NGX_DECLINED;
}

如图, 对于超过pool->max的空间大小的分配, 每次会先分配size大小的内存, 再挂在ngx_palloc_large_t类型的链表上, 首先从链表头遍历是否有alloc指向null, 超过3个非空, 则新建一个pool_large结构放到队头, 这里不太明白为什么要设计成这样, 是否有根据统计值做过优化, 为什么不直接分配放到队头? ngx_pfree有可能多次释放的都是队尾的, 这样实际还是有很多pool_large被浪费.

,



3.4 ngx_pool_cleanup_t 资源的申请, 注册与销毁

ngx_pool_cleanup_add添加一个cleanup资源供客户代码使用, 在将需要资源挂载到内存池同时, 注册一个cleanup_pt函数地址, 供销毁数据时使用. 如果小内存, 仍然是在pool上分配的, 但对于fd等释放时需要额外操作的资源, 仅仅移动pool上的last指针是不够的,需要额外定义一些自己的清理工作.

ngx_pool_cleanup_t *
ngx_pool_cleanup_add(ngx_pool_t *p, size_t size)
{
ngx_pool_cleanup_t  *c;
// 分配一个ngx_pool_cleanup_t结构
c = ngx_palloc(p, sizeof(ngx_pool_cleanup_t));
if (c == NULL) {
return NULL;
}
// 为ngx_pool_cleanup_t->data分配size大小空间
if (size) {
c->data = ngx_palloc(p, size);
if (c->data == NULL) {
return NULL;
}

} else {
c->data = NULL;
}

c->handler = NULL;
c->next = p->cleanup; // 新建节点放在pool->cleanup链表头

p->cleanup = c;

ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, p->log, 0, "add cleanup: %p", c);

return c;
}

void
ngx_pool_run_cleanup_file(ngx_pool_t *p, ngx_fd_t fd)
{  // 清理p->cleanup链表上的所有挂载文件fd
ngx_pool_cleanup_t       *c;
ngx_pool_cleanup_file_t  *cf; // ngx_pool_cleanup_t->data类型, 实际是对fd的封装

for (c = p->cleanup; c; c = c->next) {
if (c->handler == ngx_pool_cleanup_file) {

cf = c->data;

if (cf->fd == fd) { // 找到对应fd, 调用ngx_pool_cleanup_file清理fd
c->handler(cf);
c->handler = NULL;
return;
}
}
}
}

void
ngx_pool_cleanup_file(void *data)
{ // 封装ngx_close_file, 关闭data
ngx_pool_cleanup_file_t  *c = data;

ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, c->log, 0, "file cleanup: fd:%d",
c->fd);

if (ngx_close_file(c->fd) == NGX_FILE_ERROR) {
ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
ngx_close_file_n " \"%s\" failed", c->name);
}
}

如图, 客户代码调用ngx_pool_cleanup_add分配一个cleanup结构, 可存储size大小的数据, 挂载在pool->cleanup链表上, 同时再cleanup->hander指向自定义的cleanup资源处理函数. 可主动调用, 如ngx_pool_run_cleanup_file将制定的fd释放; 被动地, 在销毁内存池destroy_pool时会遍历cleanup链表由handler指向的函数地址来处理data域数据.