Memcached(四)、Memcached原理
2015-06-06 10:03
501 查看
前文写了一些memcached的简单示例,以及如何在centos上安装memcached服务器等,本文主要关注memcached的原理。
一、内存存储
默认情况下memcached是通过Slab Allocation机制来分配和管理内存的。Slab Allocation的原理是将内存分配为各种大小的块(chunk),并将尺寸相同的块组成组。
对于100bytes大小的内容如果要存储到memcached中,由于SlabClass1的chunk大小是88,存储不下,memcached会选择一个能存储下,并且最接近的chunk来存储,也就是图中chunk大小是112bytes的Slab Class2,虽然Slab Allocation机制是为了减少了内存碎片而产生的,但是仍然有12bytes大小的碎片产生。
为了减少碎片的产生,只能通过Growth Factor来根据具体的应用来调整chunk大小的增长速度来进行调优,该值默认是1.25。
二、分布式算法
首先分布式算法是由客户端决定的,而不是服务器,即如果有3个memcached服务器节点,要将某个key存放到哪台服务器节点中,是由客户端程序来计算出来的,而不是服务器。
memcached获取的时候,由客户端程序选择set时相同的服务器节点来获取数据。
分布式算法最简单的方式是取余数的方法,例如有3台服务器(node1,node2,node3,node4),
那么1、2、3、4、5这5个key,存放的服务器节点分别为:
1、5:node1
2、6:node2
3、7:node3
4:node4
一般情况下这都没问题,但是如果此时增加了一台服务器(node5),那么获取的时候根据取余数的方法计算,则key=5到node5中获取,key=6到node1中获取,这样有大量的数据将失效,同样其中一台服务器down机的话,也会出现同样的问题。
一致性哈希算法是为了解决这个问题而出现的。
首先计算出服务器节点的hash值,将其分配到0-2^32的圆上,然后将要存放的数据也映射到圆上,然后顺时针查找,查找到的第一个服务器即是对应的服务器。
如果此时增加了一个节点,如下图所示,仅会影响一小部分数据,其余的均不受影响。
三、数据过期处理
memcached没有内部监控记录何时过期,而是在get的时候来判断是否过期,这称为lazy Expiration,这样不需要开启一个线程不停的扫描,节省了CPU资源。ehcache也是通过这种方式来处理数据过期问题的。
一、内存存储
默认情况下memcached是通过Slab Allocation机制来分配和管理内存的。Slab Allocation的原理是将内存分配为各种大小的块(chunk),并将尺寸相同的块组成组。
对于100bytes大小的内容如果要存储到memcached中,由于SlabClass1的chunk大小是88,存储不下,memcached会选择一个能存储下,并且最接近的chunk来存储,也就是图中chunk大小是112bytes的Slab Class2,虽然Slab Allocation机制是为了减少了内存碎片而产生的,但是仍然有12bytes大小的碎片产生。
为了减少碎片的产生,只能通过Growth Factor来根据具体的应用来调整chunk大小的增长速度来进行调优,该值默认是1.25。
二、分布式算法
首先分布式算法是由客户端决定的,而不是服务器,即如果有3个memcached服务器节点,要将某个key存放到哪台服务器节点中,是由客户端程序来计算出来的,而不是服务器。
memcached获取的时候,由客户端程序选择set时相同的服务器节点来获取数据。
分布式算法最简单的方式是取余数的方法,例如有3台服务器(node1,node2,node3,node4),
那么1、2、3、4、5这5个key,存放的服务器节点分别为:
1、5:node1
2、6:node2
3、7:node3
4:node4
一般情况下这都没问题,但是如果此时增加了一台服务器(node5),那么获取的时候根据取余数的方法计算,则key=5到node5中获取,key=6到node1中获取,这样有大量的数据将失效,同样其中一台服务器down机的话,也会出现同样的问题。
一致性哈希算法是为了解决这个问题而出现的。
首先计算出服务器节点的hash值,将其分配到0-2^32的圆上,然后将要存放的数据也映射到圆上,然后顺时针查找,查找到的第一个服务器即是对应的服务器。
如果此时增加了一个节点,如下图所示,仅会影响一小部分数据,其余的均不受影响。
三、数据过期处理
memcached没有内部监控记录何时过期,而是在get的时候来判断是否过期,这称为lazy Expiration,这样不需要开启一个线程不停的扫描,节省了CPU资源。ehcache也是通过这种方式来处理数据过期问题的。
相关文章推荐
- memcached-内存存储原理
- [原创] Memcached 原理和使用详解(PPT/PDF)
- memcached的内存存储原理
- Memcached初体验及原理解说
- memcached原理
- memcached 原理及详细配置
- Memcached概念及使用原理
- 高性能的分布式内存缓存服务器系统——memcached核心原理详细剖析
- memcached原理全面剖析
- memcached多个服务器间分享缓存实现缓存负载均衡(一. 原理)
- Memcached 分布式缓存实现原理
- Memcached 使用举例及原理解释
- memcached&redis等分布式缓存的实现原理
- Memcached的简介、原理和安装说明
- memcached原理和实践
- Memcached 分布式缓存实现原理
- PHP连接、操纵Memcached的原理和教程
- 使用PHP连接、操纵Memcached的原理和教程
- 详解MemCached原理
- PHP连接、操纵Memcached的原理和教程