MongoDB实现备份压缩的方法教程
背景及原理
数据库的备份是灾难恢复的最后一道屏障,不管什么类型的数据库都需要设置数据库备份,MongoDB也不例外。MongoDB 3.0 后 ,数据库可以采用Wiredtiger存储引擎后(3.2 版本默认),在此环境下通过mongodump 备份后,产生的备份文件要远大于数据存储文件的大小。此外,一般MongoDB存储的数据量比较大,备份文件也比较大,占用了很多磁盘空间。所以,研究如何实现MongoDB备份压缩很有必要。
上图是执行命令
db.stats()查看某数据库的信息。
备份文件的大小一般为dataSize的大小,所以我们希望压缩备份,可以达到storageSize 或者更小。
一般的备份思路是先备份,后对备份文件进行压缩。之前,我们采用的就是这种方式,例如主要压缩命令如下
tar -cf - ${targetpath}/${nowtime} | pigz -p 10 > ${targetpath}/${nowtime}.tgz
(命令解释:
targetpath}/${nowtime为待压缩的备份文件;pigz 是Linux压缩神器,可并行压缩;-p是指定cpu的核数。)
但是这种方式,生成备份文件的过程中还是容易形成磁盘性能压力和空间压力。下图为我们某台Server 采用先备份后压缩方式,形成的磁盘可用空间变化。
真正希望的是在备份的同时进行压缩,这样可用空间就比较平稳了。在MongoDB 3.2 中 引入了一种压缩式备份【此mongodb版本必须不低于3.2】。可以使用gzip进行压缩。这是通过在mongodump和mongorestore中引入一个新的指令行选项“- -gzip”实现的。
压缩可用于目录以及归档模型下创建的备份,压缩还可以减少磁盘空间使用。
测试
测试环境:
测试服务器 |
测试数据库 |
端口 |
文件路径 |
172.X.X.245 |
实例全备 |
17219 |
/data/mongodb_back |
172.X.X.246 |
QQ_DingDing |
17218 |
/data/mongodb_back/QQ_DingDing |
Step 1 压缩式备份的命令:
./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" --out /data/mongodb_back
备份后文件的大小,97M
这时候,查看备份文件的格式都变成了.gz的格式
Step 2 将备份文件copy至远程机器上,进行还原:
以下命令是将在172.X.X.246,要求是将文件从X.245 copy至本地
scp -r root@172.X.X.245:/data/mongodb_back/QQ_DingDing
step 3 执行还原的命令
执行的命令
./mongorestore --host 172.X.X.246 --port 17218 -d QQ_DingDing -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" /data/mongodb_back/QQ_DingDing
还原后登录MongoDB,执行show dbs,查看此时 数据大小为500M。
补充说明
(1) 如果不采用压缩式的备份,备份后的文件会是多大呢?备份命令 :
./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --authenticationDatabase "admin" --out /data/mongodb_back2
查看此种方法备份后的文件大小--1.5G。
以此QQ_DingDing数据库为例,其压缩率为(文件压缩后的大小与压缩前的大小之比):97M/1.5G=97/1536=6.3%
(2) 这种压缩备份的方式的会不会带来一些弊端:例如备份时间增长?(恢复时间增加?,请自测一下试试,嘻嘻 @@@)
以 某归档备份库所在实例为例(storageSize 150G,dataSize 600G )
采用 先备份后压缩的方式耗时1小时55分钟
采用压缩式备份(指定--gzip参数)的方式耗时 2小时33分钟
产生的备份文件大小基本相等,压缩式备份方式产生的备份文件略小
所以 压缩式备份会导致备份时间增长。
但从空间使用的角度来讲,我们仍然建议大家使用压缩式备份,其压缩比非常高(测试案例的压缩比6.3%)。
附:定时清除,保留7天的纪录
#!/bin/bash targetpath='/backup/mongobak' nowtime=$(date -d '-7 days' "+%Y%m%d") if [ -d "${targetpath}/${nowtime}/" ] then rm -rf "${targetpath}/${nowtime}/" echo "=======${targetpath}/${nowtime}/===删除完毕==" fi echo "===$nowtime ==="
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。
您可能感兴趣的文章:
- MongoDB 如何实现备份压缩
- ACCESS数据库的压缩,备份,还原,下载,删除的实现
- 使用dreamhost空间实现MYSQL数据库备份方法
- (转)Apache服务器使用.htaccess实现图片防盗链方法教程
- Linux教程-备份与压缩命令
- 三个利用Java实现zip压缩/解压缩方法
- [导入]Apache服务器使用.htaccess实现图片防盗链方法教程
- Access数据库在线压缩的实现方法
- 利用Windows script实现压缩备份文件
- 备份和恢复SQL Server数据库+压缩ACCESS的类(方法)
- Linux教程-备份与压缩命令
- SQL定时自动备份,并将备份文件加密压缩并自动下载的实现
- SQL定时自动备份,并将备份文件加密压缩并自动下载的实现
- C#实现SQLSERVER2000数据库备份还原的两种方法
- 使用dreamhost空间实现MYSQL数据库备份方法
- 三个利用Java实现zip压缩/解压缩方法
- 最简单的方法实现ORACLE的定时备份
- SQL定时自动备份,并将备份文件加密压缩并自动下载的实现
- ESC之ESC.wsf可以实现javascript的代码压缩附使用方法第1/5页