Redis系统学习篇
2014-02-23 23:00
423 查看
在开始学习之前,我们需先给自己提出几个问题,什么是Redis?与其他同类型的比较,Redis有何优势?Redis的应用场景又是什么?Redis怎么配置?Redis有何缺陷?只要与系统挂钩,我们都会想到Redis如何优化?带着这些疑问,开始我们的旅程。
一、什么是Redis
二、Redis优势
三、Redis应用场景
四、Redis配置
4.1 下载安装包
http://code.google.com/p/redis/downloads/list
4.2 解压并编译安装
为了方便,这里我们把其的service放入PATH中,然后使用source命令使其重新生效
在这里可能会提示以下建议
/proc/sys/vm/overcommit_memory
可选值:0、1、2。
0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
2, 表示内核允许分配超过所有物理内存和交换空间总和的内存
值得注意的一点是,redis在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的,比如parent占用的内存为8G,这个时候也要同样分配8G的内存给child,如果内存无法负担,往往会造成redis服务器的down机或者IO负载过高,效率下降。所以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,而不管当前的内存状态如何)
4.5 服务器重启
五、Redis缺陷
六、Redis优化
要优化,首先得先了解各个参数的含义,本小节引用多篇博文。
●daemonize:
默认情况下,redis不是在后台运行的,如果需要在后台运行,把该项的值更改为yes。
●pidfile
当Redis在后台运行的时候,Redis默认会把pid文件放在/var/run/redis.pid,你可以配置到其他地址。当运行多个redis服务时,需要指定不同的pid文件和端口。
●bind
指定Redis只接收来自于该IP地址的请求,如果不进行设置,那么将处理所有请求,在生产环境中最好设置该项。
●port
监听端口,默认为6379。
●timeout
设置客户端连接时的超时时间,单位为秒。当客户端在这段时间内没有发出任何指令,那么关闭该连接。
●loglevel
log等级分为4级,debug, verbose, notice, 和warning。生产环境下一般开启notice。
●logfile
配置log文件地址,默认使用标准输出,即打印在命令行终端的窗口上。
●databases
设置数据库的个数,可以使用SELECT 命令来切换数据库。默认使用的数据库是0。
●save
设置Redis进行数据库镜像的频率。
if(在60秒之内有10000个keys发生变化时){
进行镜像备份
}else if(在300秒之内有10个keys发生了变化){
进行镜像备份
}else if(在900秒之内有1个keys发生了变化){
进行镜像备份
}
●rdbcompression
在进行镜像备份时,是否进行压缩。
●dbfilename
镜像备份文件的文件名。
●dir
数据库镜像备份的文件放置的路径。这里的路径跟文件名要分开配置是因为Redis在进行备份时,先会将当前数据库的状态写入到一个临时文件中,等备份完成时,再把该该临时文件替换为上面所指定的文件,而这里的临时文件和上面所配置的备份文件都会放在这个指定的路径当中。
●slaveof
设置该数据库为其他数据库的从数据库。
●masterauth
当主数据库连接需要密码验证时,在这里指定。
●requirepass
设置客户端连接后进行任何其他指定前需要使用的密码。警告:因为redis速度相当快,所以在一台比较好的服务器下,一个外部的用户可以在一秒钟进行150K次的密码尝试,这意味着你需要指定非常非常强大的密码来防止暴力破解。
●maxclients
限制同时连接的客户数量。当连接数超过这个值时,redis将不再接收其他连接请求,客户端尝试连接时将收到error信息。
●maxmemory
设置redis能够使用的最大内存。当内存满了的时候,如果还接收到set命令,redis将先尝试剔除设置过expire信息的key,而不管该key的过期时间还没有到达。在删除时,将按照过期时间进行删除,最早将要被过期的key将最先被删除。如果带有expire信息的key都删光了,那么将返回错误。这样,redis将不再接收写请求,只接收get请求。maxmemory的设置比较适合于把redis当作于类似memcached的缓存来使用。
●appendonly
默认情况下,redis会在后台异步的把数据库镜像备份到磁盘,但是该备份是非常耗时的,而且备份也不能很频繁,如果发生诸如拉闸限电、拔插头等状况,那么将造成比较大范围的数据丢失。所以redis提供了另外一种更加高效的数据库备份及灾难恢复方式。开启append only模式之后,redis会把所接收到的每一次写操作请求都追加到appendonly.aof文件中,当redis重新启动时,会从该文件恢复出之前的状态。但是这样会造成appendonly.aof文件过大,所以redis还支持了BGREWRITEAOF指令,对appendonly.aof进行重新整理。所以我认为推荐生产环境下的做法为关闭镜像,开启appendonly.aof,同时可以选择在访问较少的时间每天对appendonly.aof进行重写一次。
●appendfsync
设置对appendonly.aof文件进行同步的频率。always表示每次有写操作都进行同步,everysec表示对写操作进行累积,每秒同步一次。这个需要根据实际业务场景进行配置。
●vm-enabled
是否开启虚拟内存支持。因为redis是一个内存数据库,而且当内存满的时候,无法接收新的写请求,所以在redis 2.0中,提供了虚拟内存的支持。但是需要注意的是,redis中,所有的key都会放在内存中,在内存不够时,只会把value值放入交换区。这样保证了虽然使用虚拟内存,但性能基本不受影响,同时,你需要注意的是你要把vm-max-memory设置到足够来放下你的所有的key。
●vm-swap-file
设置虚拟内存的交换文件路径。
●vm-max-memory
这里设置开启虚拟内存之后,redis将使用的最大物理内存的大小。默认为0,redis将把他所有的能放到交换文件的都放到交换文件中,以尽量少的使用物理内存。在生产环境下,需要根据实际情况设置该值,最好不要使用默认的0。
●vm-page-size
设置虚拟内存的页大小,如果你的value值比较大,比如说你要在value中放置博客、新闻之类的所有文章内容,就设大一点,如果要放置的都是很小的内容,那就设小一点。
●vm-pages
设置交换文件的总的page数量,需要注意的是,page table信息会放在物理内存中,每8个page就会占据RAM中的1个byte。总的虚拟内存大小 = vm-page-size * vm-pages。
●vm-max-threads
设置VM IO同时使用的线程数量。因为在进行内存交换时,对数据有编码和解码的过程,所以尽管IO设备在硬件上本上不能支持很多的并发读写,但是还是如果你所保存的vlaue值比较大,将该值设大一些,还是能够提升性能的。
●glueoutputbuf
把小的输出缓存放在一起,以便能够在一个TCP packet中为客户端发送多个响应,具体原理和真实效果我不是很清楚。所以根据注释,你不是很确定的时候就设置成yes。
●hash-max-zipmap-entries
在redis 2.0中引入了hash数据结构。当hash中包含超过指定元素个数并且最大的元素没有超过临界时,hash将以一种特殊的编码方式(大大减少内存使用)来存储,这里可以设置这两个临界值。
●activerehashing
开启之后,redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash,可以降低内存的使用。当你的使用场景中,有非常严格的实时性需要,不能够接受Redis时不时的对请求有2毫秒的延迟的话,把这项配置为no。如果没有这么严格的实时性要求,可以设置为yes,以便能够尽可能快的释放内存。
基于redis参数的博文来源:
1、redis快速入门:安装、配置和操作
2、redis安装于配置
3、淡谈redis及其安装配置
基于redis优化的博文来源
1、redis内存使用优化与存储
2、redis常见的性能问题和解决方法
3、redis学习手册(内存优化)
4、redis的一些优化措施
5、redis内存容量的预估和优化
6、redis内存优化理解与存储总结
7、redis内存存储结构分析
七、疑问与解答
7.1 在4.3中,如果运行source /etc/profile命令,报badly placed()'s这样的错误,可能有以下的原因:其一可能是添加的内容有错,可以先用sh -x profile检查其语法,然后再看内容;其二可能是运行root的shell不是bash,只要将其改回来就可以了。
一、什么是Redis
二、Redis优势
三、Redis应用场景
四、Redis配置
4.1 下载安装包
http://code.google.com/p/redis/downloads/list
4.2 解压并编译安装
#tar -xzvf redis-2.6.14.tar.gz #sed -i.bak '/^PREFIX/s@/usr/local@/opt/redis@g' redis-2.6.14/src/Makefile #指定redis安装路径为/opt/redis #make #make install4.3 配置路径
为了方便,这里我们把其的service放入PATH中,然后使用source命令使其重新生效
export PATH=$PATH:/opt/redis/bin source /etc/profile4.4 修改配置文件(建议在对其修改之前,先备份一个)
cp redis.conf /etc/redis.conf #vim /etc/redis.conf #对应行修改为下面内容 daemonize yes logfile /var/log/redis.log
在这里可能会提示以下建议
WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.根据提示我们只需要更改文件中对应的值就可以了。
vim /etc/sysctl.conf 添加或者修改vm.overcommit_memory=1,设置内存分配策略(可选,根据服务器的实际情况进行设置)
/proc/sys/vm/overcommit_memory
可选值:0、1、2。
0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
2, 表示内核允许分配超过所有物理内存和交换空间总和的内存
值得注意的一点是,redis在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的,比如parent占用的内存为8G,这个时候也要同样分配8G的内存给child,如果内存无法负担,往往会造成redis服务器的down机或者IO负载过高,效率下降。所以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,而不管当前的内存状态如何)
4.5 服务器重启
redis-server /etc/redis.conf
五、Redis缺陷
六、Redis优化
要优化,首先得先了解各个参数的含义,本小节引用多篇博文。
●daemonize:
默认情况下,redis不是在后台运行的,如果需要在后台运行,把该项的值更改为yes。
●pidfile
当Redis在后台运行的时候,Redis默认会把pid文件放在/var/run/redis.pid,你可以配置到其他地址。当运行多个redis服务时,需要指定不同的pid文件和端口。
●bind
指定Redis只接收来自于该IP地址的请求,如果不进行设置,那么将处理所有请求,在生产环境中最好设置该项。
●port
监听端口,默认为6379。
●timeout
设置客户端连接时的超时时间,单位为秒。当客户端在这段时间内没有发出任何指令,那么关闭该连接。
●loglevel
log等级分为4级,debug, verbose, notice, 和warning。生产环境下一般开启notice。
●logfile
配置log文件地址,默认使用标准输出,即打印在命令行终端的窗口上。
●databases
设置数据库的个数,可以使用SELECT 命令来切换数据库。默认使用的数据库是0。
●save
设置Redis进行数据库镜像的频率。
if(在60秒之内有10000个keys发生变化时){
进行镜像备份
}else if(在300秒之内有10个keys发生了变化){
进行镜像备份
}else if(在900秒之内有1个keys发生了变化){
进行镜像备份
}
●rdbcompression
在进行镜像备份时,是否进行压缩。
●dbfilename
镜像备份文件的文件名。
●dir
数据库镜像备份的文件放置的路径。这里的路径跟文件名要分开配置是因为Redis在进行备份时,先会将当前数据库的状态写入到一个临时文件中,等备份完成时,再把该该临时文件替换为上面所指定的文件,而这里的临时文件和上面所配置的备份文件都会放在这个指定的路径当中。
●slaveof
设置该数据库为其他数据库的从数据库。
●masterauth
当主数据库连接需要密码验证时,在这里指定。
●requirepass
设置客户端连接后进行任何其他指定前需要使用的密码。警告:因为redis速度相当快,所以在一台比较好的服务器下,一个外部的用户可以在一秒钟进行150K次的密码尝试,这意味着你需要指定非常非常强大的密码来防止暴力破解。
●maxclients
限制同时连接的客户数量。当连接数超过这个值时,redis将不再接收其他连接请求,客户端尝试连接时将收到error信息。
●maxmemory
设置redis能够使用的最大内存。当内存满了的时候,如果还接收到set命令,redis将先尝试剔除设置过expire信息的key,而不管该key的过期时间还没有到达。在删除时,将按照过期时间进行删除,最早将要被过期的key将最先被删除。如果带有expire信息的key都删光了,那么将返回错误。这样,redis将不再接收写请求,只接收get请求。maxmemory的设置比较适合于把redis当作于类似memcached的缓存来使用。
●appendonly
默认情况下,redis会在后台异步的把数据库镜像备份到磁盘,但是该备份是非常耗时的,而且备份也不能很频繁,如果发生诸如拉闸限电、拔插头等状况,那么将造成比较大范围的数据丢失。所以redis提供了另外一种更加高效的数据库备份及灾难恢复方式。开启append only模式之后,redis会把所接收到的每一次写操作请求都追加到appendonly.aof文件中,当redis重新启动时,会从该文件恢复出之前的状态。但是这样会造成appendonly.aof文件过大,所以redis还支持了BGREWRITEAOF指令,对appendonly.aof进行重新整理。所以我认为推荐生产环境下的做法为关闭镜像,开启appendonly.aof,同时可以选择在访问较少的时间每天对appendonly.aof进行重写一次。
●appendfsync
设置对appendonly.aof文件进行同步的频率。always表示每次有写操作都进行同步,everysec表示对写操作进行累积,每秒同步一次。这个需要根据实际业务场景进行配置。
●vm-enabled
是否开启虚拟内存支持。因为redis是一个内存数据库,而且当内存满的时候,无法接收新的写请求,所以在redis 2.0中,提供了虚拟内存的支持。但是需要注意的是,redis中,所有的key都会放在内存中,在内存不够时,只会把value值放入交换区。这样保证了虽然使用虚拟内存,但性能基本不受影响,同时,你需要注意的是你要把vm-max-memory设置到足够来放下你的所有的key。
●vm-swap-file
设置虚拟内存的交换文件路径。
●vm-max-memory
这里设置开启虚拟内存之后,redis将使用的最大物理内存的大小。默认为0,redis将把他所有的能放到交换文件的都放到交换文件中,以尽量少的使用物理内存。在生产环境下,需要根据实际情况设置该值,最好不要使用默认的0。
●vm-page-size
设置虚拟内存的页大小,如果你的value值比较大,比如说你要在value中放置博客、新闻之类的所有文章内容,就设大一点,如果要放置的都是很小的内容,那就设小一点。
●vm-pages
设置交换文件的总的page数量,需要注意的是,page table信息会放在物理内存中,每8个page就会占据RAM中的1个byte。总的虚拟内存大小 = vm-page-size * vm-pages。
●vm-max-threads
设置VM IO同时使用的线程数量。因为在进行内存交换时,对数据有编码和解码的过程,所以尽管IO设备在硬件上本上不能支持很多的并发读写,但是还是如果你所保存的vlaue值比较大,将该值设大一些,还是能够提升性能的。
●glueoutputbuf
把小的输出缓存放在一起,以便能够在一个TCP packet中为客户端发送多个响应,具体原理和真实效果我不是很清楚。所以根据注释,你不是很确定的时候就设置成yes。
●hash-max-zipmap-entries
在redis 2.0中引入了hash数据结构。当hash中包含超过指定元素个数并且最大的元素没有超过临界时,hash将以一种特殊的编码方式(大大减少内存使用)来存储,这里可以设置这两个临界值。
●activerehashing
开启之后,redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash,可以降低内存的使用。当你的使用场景中,有非常严格的实时性需要,不能够接受Redis时不时的对请求有2毫秒的延迟的话,把这项配置为no。如果没有这么严格的实时性要求,可以设置为yes,以便能够尽可能快的释放内存。
基于redis参数的博文来源:
1、redis快速入门:安装、配置和操作
2、redis安装于配置
3、淡谈redis及其安装配置
基于redis优化的博文来源
1、redis内存使用优化与存储
2、redis常见的性能问题和解决方法
3、redis学习手册(内存优化)
4、redis的一些优化措施
5、redis内存容量的预估和优化
6、redis内存优化理解与存储总结
7、redis内存存储结构分析
七、疑问与解答
7.1 在4.3中,如果运行source /etc/profile命令,报badly placed()'s这样的错误,可能有以下的原因:其一可能是添加的内容有错,可以先用sh -x profile检查其语法,然后再看内容;其二可能是运行root的shell不是bash,只要将其改回来就可以了。
相关文章推荐
- Linux 与 Windows 对UNICODE 的处理方式
- Ubuntu12.04下QQ完美走起啊!走起啊!有木有啊!
- 解決Linux下Android开发真机调试设备不被识别问题
- 运维入门
- 运维提升
- Linux 自检和 SystemTap
- Ubuntu Linux使用体验
- redis安装问题小结
- c语言实现hashmap(转载)
- Linux 信号signal处理机制
- linux下mysql添加用户
- Scientific Linux 5.5 图形安装教程
- 基于 Linux 集群环境上 GPFS 的问题诊断
- 谁是桌面王者?Win PK Linux三大镇山之宝
- vivi下重新调整分区
- Linux VS Unix:Linux欲一统天下 Unix不死
- linux下设定环境变量
- Linux下修改MySQL编码的方法
- Linux串口通信