Memcached学习笔记

[TOC]

前言

此为学习笔记汇总，如有纰漏之处，还望不吝指出，谢谢。

启动流程

调用settings_init()设定初始化参数

从启动命令中读取参数来设置setting值

设定LIMIT参数

开始网络Socket监听，也支持UDP

检查用户身份，不允许以root运行

如果有socketpath存在，开启UNIX本地连接，是Sock管道

如果以-d方式启动，调用daemon(), 创建守护进程

初始化item，event，状态信息，hash，连接，slab

如设置中managed生效，创建bucket数组

检查是否需要锁定内存页

初始化信号，连接，删除队列

如果采用daemon方式，处理进程ID

event开始，启动过程结束，main函数进入循环

内存分配

分配模型



MemCache存放的value大小是限制的，因为一个新数据过来，slab会先以page为单位申请一块内存，申请的内存最多就只有1M，所以value大小自然不能大于1M了

chunk分配待会内存浪费，但也避免了管理内存碎片的问题

大小关系

MemCache将内存空间分为一组slab

每个slab下又有若干个page，每个page默认是1M

每个page里面包含一组chunk，chunk是真正存放数据的地方，同一个slab里面的chunk的大小是固定的

有相同大小chunk的slab被组织在一起，称为slab_class

邻slab内的chunk基本以1.25为比例进行增长，MemCache启动时可以用-f指定这个比例

回收机制

LRU

精髓：Memcached会把刚刚访问过的item放到item列表头部，尾部的是没有/很少被访问的

如果MemCache启动没有追加-M（禁止LRU，这种情况下内存不够会报Out Of Memory错误），可以使用

MemCache的LRU算法不是针对全局的，是针对slab的

步骤

使用slabs_alloc函数申请内存失败，就开始淘汰数据

从item list尾部开始遍历,在列表中查找一个refcount为0的item，释放

如果找不到，查找一个3小时内没有访问过的item

如果还没有，返回NULL，申请内存失败

懒惰删除

memcached不会释放已分配的内存，记录超时后，客户端就无法再看见该记录（invisible，透明）， 其存储空间即可重复使用

memcached内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。 这种技术被称为lazy（惰性）expiration

因此，memcached不会在过期监视上耗费CPU时间

特性和限制

MemCache中可以保存的item数据量是没有限制的，只要内存足够

MemCache单进程在32位机中最大使用内存为2G，这个之前的文章提了多次了，64位机则没有限制

Key最大为250个字节，超过该长度无法存储

单个item最大数据是1MB，超过1MB的数据不予存储

MemCache服务端是不安全的，比如已知某个MemCache节点，可以直接telnet过去，并通过flush_all让已经存在的键值对立即失效

不能够遍历MemCache中所有的item，因为这个操作的速度相对缓慢且会阻塞其他的操作

MemCache的高性能源自于两阶段哈希结构：第一阶段在客户端，通过Hash算法根据Key值算出一个节点；第二阶段在服务端，通过一个内部的Hash算法，查找真正的item并返回给客户端。从实现的角度看，MemCache是一个非阻塞的、基于事件的服务器程序

MemCache设置添加某一个Key值的时候，传入expiry为0表示这个Key值永久有效，这个Key值也会在30天之后失效，写在了源码Memcached.c中，一般不修改

Memcache::add

bool Memcache :: add (  string   $key   ,   mixed   $var  [ ,  int  $flag  [ ,  int  $expire  ]] )

说明

如果$key不存在的时候，使用这个函数来存储$var的值

功能相同的函数是memcache_add()

参数

$key ：将要存储的键值

$var ：存储的值，字符型和整型会按原值保存，其他类型自动序列化以后保存

$flag：是否用 MEMCACHE_COMPRESSED 来压缩存储的值， true 表示压缩， false 表示不压缩

$expire：存储值的过期时间，如果为0表示不会过期，你可以用unix时间戳或者描述来表示从现在开始的时间，但是你在使用秒数表示的时候，不要超过2592000秒 (表示30天)

返回值

如果成功则返回 TRUE，失败则返回 FALSE

如果$key值已经存在，则会返回FALSE

其他情况下Memcache::add()的用法类似于Memcache::set()

Memcache::addServer

bool  Memcache::addServer (  string  $host [,  int  $port [,  bool  $persistent [,  int  $weight [,  int $timeout [,  int  $retry_interval [,  bool  $status [, callback $failure_callback ]]]]]]] )

说明

添加一个可供使用的服务器地址到连接池中，连接用Memcache::addServer打开

脚本执行完后自动关闭,或者可以用Memcache::close()手动关闭

相同函数是memcache_add_server()

当用这个方法的时候（相对于Memcache::connect()和 Memcache::pconnect()方法），网络连接只有等需要的时候才会建立，因此不会因为增加很多的服务器到连接池而增加系统负担，因为很多服务器可能没有使用

故障恢复

故障恢复会发生在这个方法执行的任何阶段，只要其他的服务器是正常的，这些连接请求的失败用户不会注意到

任何一种socket或者memcached服务器级的错误可以触发故障恢复

正常的客户端错误比如增加一个存在的键值不会引发故障恢复

参数

$host服务器的地址

$port服务器端口

$persistent是否是一个持久连接

$weight这台服务器在所有服务器中所占的权重

$timeout连接的持续时间

$retry_interval连接重试的间隔时间，默认为15,设置为-1表示不进行重试

$status控制服务器的在线状态

$failure_callback允许设置一个回掉函数来处理错误信息

Memcache::close

bool Memcache :: close ( void )

说明

关闭memcache服务器连接

这个函数不会关闭长连接，长连接只有在web服务器关闭或者重启的时候才会关闭

相同的函数memcache_close()

Memcache::connect

bool Memcache :: connect (  string   $host  [ ,  int  $port  [ ,  int  $timeout  ]] )

说明

打开memcached服务器连接，建立一个到memcached服务器的连接，用Memcache::connect打开的连接会在脚本执行完毕后自动关闭

你也可以用Memcache::close()去关闭连接

相同的函数是memcache_connect()

参数

$host：指向memcached正在收听的链接的主机，这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock，即用unix的域名sockets，这种情况下，端口必须设置为0

$port：指向memcached正在收听的链接的端口，用unix的域名sockets的情况下，端口必须设置为0

$timeout：用于连接守护进程的秒数，当你改变默认的1秒的值的时候，你需要考虑一下，如果你的连接太慢的话，你可能会失去缓存的优势。

memcache::debug

bool memcache_debug ( bool  $on_off  )

说明

控制调试功能，前提是php在编译的时候使用了-enable-debug选项，否则这个函数不会有作用

参数

$on_off：true表示开启调试，false表示关闭调试

返回值

如果php在编译的时候使用了-enable-debug选项，返回true，否则返回false

Memcache::decrement

int Memcache :: decrement (  string   $key  [ ,  int  $value  ] )

说明

Memcache::decremen方法的作用是对保存的某个key中的值进行减法操作，用法跟Memcache::increment类似

也可用memcache_decrement()函数

参数

$Key:想要减少的键的名字

$Value:想要减少的值

返回值

如果成功，返回被减少后的值，如果失败返回false

Memcache::delete

bool Memcache :: delete (  string   $key  [ ,  int  $timeout  ] )

说明

一个key值，如果参数$timeout被设置，那么存储的值会在设置的秒数以后过期，你也可以用函数memcache_delete()

Memcache::flush

bool Memcache :: flush  ( void )

说明

清除所有缓存的数据。Memcache::flush实际上没有释放资源，它仅仅将所有的缓存标记为过期，这样可以使新的缓存来覆盖被占的内存空间

一样的函数是memcache_flush()

Memcache::get

string  Memcache :: get (  string   $key  [ ,  int  & $flags  ] )

array  Memcache :: get (  array   $keys  [ ,   array   & $flags  ] )

说明

方法的作用是获取一个key值，key值可以是一个数组，结果会包含键值对

参数

$key是键值或者一个键的数组值

$flags如果这个参数存在，那么$flags跟写入这个参数的值相关，这些$flags 类似于Memcache::set()函数里的$flags

返回值

如果成功，则返回key对应的值，如果失败则返回false

Memcache::getExtendedStats

array  Memcache :: getExtendedStats ([  string   $type  [ ,  int  $slabid  [ ,  int  $limit  ]]] )

说明

获取进程池中所有进程的运行系统统计

相同函数是 memcache_get_extended_stats()

参数

$type表示要求返回的类型：reset, malloc, maps, cachedump, slabs, items, sizes

$slabid第一个参数设置为”cachedump”时使用的

$limit第一个参数设置为”cachedump”时使用的

Memcache::getServerStatus

int Memcache :: getServerStatus (  string   $host  [ ,  int  $port  ] )

说明

获取运行服务器的参数,返回一个服务器在线或者离线的状态

相同的函数是memcache_get_server_status()

参数

$host：正在收听的连接的主机

$port正在收听的连接的主机的端口，默认是11211

返回值

成功返回服务器状态，服务器没有启动会返回0，其他数字的时候表示服务器是启动状态的

Memcache::getStats

array  Memcache :: getStats ([  string   $type  [ ,  int  $slabid  [ ,  int  $limit  ]]] )

说明

返回服务器的一些运行统计信息

相同的函数是memcache_get_stats()

参数

$type表示要求返回的类型：reset, malloc, maps, cachedump, slabs, items, sizes

$slabid第一个参数设置为”cachedump”时使用的

$limit第一个参数设置为”cachedump”时使用的

Memcache::getVersion

string  Memcache :: getVersion ( void )

说明

返回运行的Memcache的版本信息

相同函数memcache_get_version()

Memcache::increment

int Memcache :: increment (  string   $key  [ ,  int  $value  ] )

对保存的某个key中的值进行加法操作

用法参考Memcache::decrement

Memcache::pconnect

bool Memcache :: pconnect (  string   $host  [ ,  int  $port  [ ,  int  $timeout  ]] )

说明

创建一个Memcache的持久连接对象

这个连接在脚本执行完或者Memcache::close()函数运行也不会被关闭

与它相同的函数是memcache_pconnect()

参数

$host：指向memcached正在收听的链接的主机，这个参数会有另一种特殊的连接方式unix:///path/to/memcached.sock，即用unix的域名sockets，这种情况下，端口必须设置为0

$port：指向memcached正在收听的链接的端口，用unix的域名sockets的情况下，端口必须设置为0

$timeout：用于连接守护进程的秒数，当你改变默认的1秒的值的时候，你需要考虑一下，如果你的连接太慢的话，你可能会失去缓存的优势

Memcache::replace

bool Memcache :: replace (  string   $key   ,   mixed   $var  [ ,  int  $flag  [ ,  int  $expire  ]] )

说明

对一个已有的key进行覆写操作

相同函数是memcache_replace()

参数

$key ：将要存储的键值

$var ：存储的值，字符型和整型会按原值保存，其他类型自动序列化以后保存

$flag：是否用 MEMCACHE_COMPRESSED 来压缩存储的值， true 表示压缩， false 表示不压缩

$expire：存储值的过期时间，如果为0表示不会过期，你可以用unix时间戳或者描述来表示从现在开始的时间，但是你在使用秒数表示的时候，不要超过2592000秒 (表示30天)

Memcache::set

bool Memcache :: set (  string   $key   ,   mixed   $var  [ ,  int  $flag  [ ,  int  $expire  ]] )

说明

添加一个值，如果已经存在，则覆写

相同函数是memcache_set()

参数

$key ：将要存储的键值

$var ：存储的值，字符型和整型会按原值保存，其他类型自动序列化以后保存

$flag：是否用 MEMCACHE_COMPRESSED 来压缩存储的值， true 表示压缩， false 表示不压缩

$expire：存储值的过期时间，如果为0表示不会过期，你可以用unix时间戳或者描述来表示从现在开始的时间，但是你在使用秒数表示的时候，不要超过2592000秒 (表示30天)

Memcache::setCompressThreshold

bool Memcache :: setCompressThreshold ( int  $threshold  [ ,   float   $min_savings  ] )

说明

对大于某一大小的数据进行压缩

相同的函数是memcache_set_compress_threshold()

参数

setCompressThreshold方法有两个参数，第一个参数表示处理数据大小的临界点，第二个参数表示压缩的比例，默认为0.2

Memcache::setServerParams

bool Memcache :: setServerParams (  string   $host  [ ,  int  $port  [ ,  int  $timeout  [ ,  int $retry_interval  [ ,  bool  $status  [ ,   callback   $failure_callback  ]]]]] )

说明

在运行时修改服务器的参数

相同函数是memcache_set_server_params()

参数

$host服务器的地址

$port服务器端口

$timeout连接的持续时间

$retry_interval连接重试的间隔时间，默认为15,设置为-1表示不进行重试

$status控制服务器的在线状态

$failure_callback允许设置一个回掉函数来处理错误信息

参考资料

图片来源于网络

Memcached官网

Memcached完全剖析