redis中的hash实现
2011-12-14 16:30
288 查看
典型的数据结构
hashtable的一个封装typedef struct dict {
dictType *type; //函数集合
void *privdata;
dictht ht[2]; //真正的hashtable,有两个的原因是在扩容以及rehash的时候使用
int rehashidx; //是否处于rehash状态,-1是不属于
int iterators; /* number of iterators currently running */
} dict;
真正的hashtable
typedef struct dictht {
dictEntry **table; // slot数组指针,slot中存放元素
unsigned long size; //元素容量(实际就是hash中 slot的个数)
unsigned long sizemask;(实际就是元素hash取模的基数(size-1))
unsigned long used; //已经存储的元素个数
} dictht;
hashtable绑定的函数
typedef struct dictType {
unsigned int (*hashFunction)(const void *key);
void *(*keyDup)(void *privdata, const void *key);
void *(*valDup)(void *privdata, const void *obj);
int (*keyCompare)(void *privdata, const void *key1, const void *key2);
void (*keyDestructor)(void *privdata, void *key);
void (*valDestructor)(void *privdata, void *obj);
} dictType;
元素(链表结构,包含key和value以及下个元素的指针)
typedef struct dictEntry { void *key;
void *val;
struct dictEntry *next;
} dictEntry;
见图
典型场景
创建 (dict.c:dictCreate)分配内存
设置绑定函数(dict->type)
添加(dict:dictAdd)
如果此时处于rehash状态,那么执行rehash(通常一步,下面会讲)
通过dict:_dictKeyIndex返回slot索引(如果处于rehash状态,也会去遍历ht[1]),如果key存在则返回-1
此时会通过(dict:_dictExpandIfNeeded)来看是否有必要扩容,下面会重点谈
仍然检查是否rehash状态,如果不是则将选择ht[0]作为插入的table,否则选择ht[1]
上面的步骤已经确定插入哪个table以及哪个slot,此时开始给entry分配内存
将新entry插入到链表的表头
查找(dict.c:dictFind)
如果ht[0]为空,则返回null
如果此时处于rehash状态,那么执行rehash(通常一步)
计算key的hash值
根据hash值确定slot(默认去找ht[0]的slot)
遍历slot链表去查找相应的key
在ht[0]中找不到key,如果此时处于rehash状态,那么再去查找ht[1]
扩容的整体过程
扩容(dict:_dictExpandIfNeeded)
如果此时处于rehash状态,返回
如果ht[0]为空,则扩展到初始尺寸(#define DICT_HT_INITIAL_SIZE 4)(slot数目为size-1)
如果【ht[0]的元素个数超过初始尺寸】 && (【允许扩容(默认允许)】 || 【使用比例(容纳的元素个数/初始尺寸)大于阀值(5)】),开始扩容,初始尺寸扩大为原来的2倍
此时仅仅是设置rehash标识(见dict属性rehashidx),并不迁移数据
rehashidx为-1表示不处于rehash状态,当处于rehash状态(rehashidx>-1)时rehashidx表示ht[1]待处理的slot索引(开始时是0)
另外在事件循环中,每次处理时间函数时调用redis.c:serverCron->redis.c:tryResizeHashTables看是否需要扩容,扩容的标准是used>10*size
在添加(dict:dictAdd)过程中会触发扩容操作
rehash( dict:dictRehash)
有了上面这个rehash标识,就可以进行rehash(迁移数据)
迁移数据是指从ht[0]-->ht[1]
迁移数据也并不是一次就全部完成,默认情况每次迁移一个或者一部分slot
在访问过程中是一次迁移一个slot
在事件循环中,每次处理时间函数是调用redis.c:serverCron->redis.c:incrementallyRehash来继续rehash,最多迁移100个slot,如果超过1ms,就停止迁移
等ht[0]全部迁移到ht[1],就切换ht[1]到ht[0]
在添加(dict:dictAdd)、查找(dict.c:dictFind)过程中都会触发entry迁移
相关文章推荐
- 基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)
- redis:字典实现及rehash原理
- redis---一致性hash特性及java实现
- Redis源码剖析和注释(十一)--- 哈希键命令的实现(t_hash)
- 基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)
- nginx共享session方式及redis+cookie、ip_hash方式实现
- redis sort 实现list与hash的连接 查出sql表的一行
- 通过MurmurHash3和Redis实现长链接转短链接
- 集群与负载均衡系列——nginx ip_hash或redis实现共享session(2)
- java实现类似与redis的hash存储操作
- 基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)
- Redis 服务器 单机数据库的实现
- 用Redis实现Session功能
- Ubuntu16.04下安装redis并实现helloworld
- Redis实现分布式锁的几种方案
- 学习笔记-Redis设计与实现-事件 推荐
- hashchange实现ajax无刷新回退
- 基于redis实现的扣减库存
- SpringMVC+Mybatis框架实现Redis的二级缓存
- php redis实现连接池