redis企业级数据备份和恢复方案
2017-10-10 22:04
447 查看
1、企业级的持久化的配置策略
在企业中,RDB的生成策略,用默认的配置基本可以满足日常需求。也可以根据业务数据量进行一定的调整:rdb:
save 60 10000:如果希望尽可能确保RDB最多丢1分钟的数据,那么尽量就是每隔1分钟都生成一个快照,对于低峰期,数据量很少,也没必要这样处理,根据业务的数据量来确定保存的策略数
aof
AOF一定要打开,使用everysec策略仍然可以保持性能的客观,同样可以调整以下两个参数:
auto-aof-rewrite-percentage 100: 就是当前AOF大小膨胀到超过上次100%,上次的两倍
auto-aof-rewrite-min-size 64mb: 根据你的数据量来定,16mb,32mb
2、数据备份方案
通过crontab定时调度脚本去备份小时、月份的rdb文件,同时每天将服务器所有的数据发送到云服务文件存储系统上每小时备份一次数据,删除48小时前的数据
crontab -e 0 * * * * sh /usr/local/redis/copy/redis_rdb_copy_hourly.sh redis_rdb_copy_hourly.sh #!/bin/sh cur_date=`date +%Y%m%d%k` rm -rf /usr/local/redis/snapshotting/$cur_date mkdir /usr/local/redis/snapshotting/$cur_date cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date del_date=`date -d -48hour +%Y%m%d%k` rm -rf /usr/local/redis/snapshotting/$del_date
每天都保留一份当日的rdb备份到一个目录,删除一个月之前的数据
crontab -e 0 0 * * * sh /usr/local/redis/copy/redis_rdb_copy_daily.sh redis_rdb_copy_daily.sh #!/bin/sh cur_date=`date +%Y%m%d` rm -rf /usr/local/redis/snapshotting/$cur_date mkdir /usr/local/redis/snapshotting/$cur_date cp /var/redis/6379/dump.rdb /usr/local/redis/snapshotting/$cur_date del_date=`date -d -1month +%Y%m%d` rm -rf /usr/local/redis/snapshotting/$del_date
每天都将所有的数据发送到云服务来作备份
阿里云、aws都提供相应的服务
3、数据恢复方案
如果是redis进程挂掉,那么重启redis进程即可,直接基于AOF日志文件恢复数据,如果配置成fsync everysec策略,那么最多丢掉一秒钟的数据如果是redis进程所在机器挂掉,那么重启机器后,尝试重启redis进程,会尝试直接基于AOF日志文件进行数据恢复,对于AOF append-only,是顺序写入,如果AOF文件破损,那么用redis-check-aof fix即可
如果redis当前最新的AOF和RDB文件出现了丢失/损坏,那么可以尝试基于该机器上当前的某个最新的RDB数据副本进行数据恢复。需要注意的是,每次redis服务的重新启动,都会默认从aof文件中加载数据(当然aof策略是打开的前提下),就是没有aof的文件,那么也会创建一个新的aof空文件,对应的redis中的数据也会是空,也就是并不会去加载rdb中的数据,因此我们需要提前将aof关闭,然后拷贝之前我们备份的以小时为间隔的数据,重新启动redis之后会从这个rdb中加载相应的数据,如果我们再去打开aof开关,重新启动之后仍然会创建一个空的aof文件从而redis加载对应的空数据。为了解决这个问题,我们需要热修改redis的aof开关配置 config set appendonly yes,待数据全部写入aof文件之后,再重新修改真正的配置文件中的aof开关并重新启动即可(热修改只是临时的修改,配置文件不会被影响)
如果当前机器上的所有RDB文件全部损坏,那么从远程的云服务上拉取最新的RDB快照回来恢复数据
如果是发现有重大的数据错误,比如某个小时上线的程序一下子将数据全部污染了,数据全错了,那么可以选择某个更早的时间点,对数据进行恢复
相关文章推荐
- 在项目中部署redis企业级数据备份方案以及各种踩坑的数据恢复容灾演练
- redis学习系列(四)--在项目中部署redis企业级数据备份方案以及各种踩坑的数据恢复容灾演练
- 05-项目中部署redis企业级数据备份方案
- redis企业级数据备份方案
- [Redis] redis数据备份恢复与持久化
- Redis数据备份与恢复
- redis必杀高级:数据备份与恢复
- Redis数据备份与恢复
- Redis数据备份与恢复
- Redis-基本操作数据备份与恢复
- Redis数据备份与恢复
- redis 由浅入深之 高级(数据备份与恢复、安全、性能测试和客户端连接)
- Redis数据备份和重启恢复
- Redis的数据备份与恢复
- redis和mongo数据备份以及恢复
- Redis集群进阶-数据备份与恢复
- redis基础简介(五)- 数据备份与恢复、数据安全、性能测试、客户端连接、分区
- Redis数据备份与恢复
- redis 数据备份、数据恢复、安全
- redis数据备份恢复SAVE