mysql备份利器 Innobackup 大数据备份还原
2015-10-26 22:03
666 查看
大数据的备份和恢复,始终是个难点,当MySQL超过10个G,那么备份整个过程变得非常难熬,而且也不利于数据备份和恢复。这时候,刚好出现一款备份MySQL的工具 innobackup,速度比mysqldump要快好多
Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。
Xtrabackup有两个主要的工具:xtrabackup、innobackupex
(1)、xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表。
(2)、 innobackupex是参考了InnoDB Hotbackup的innoback脚本修改而来的.innobackupex是一个perl脚本封装,封装了xtrabackup。主要是为了方便的 同时备份InnoDB和MyISAM引擎的表,但在处理myisam时需要加一个读锁。并且加入了一些使用的选项。如slave-info可以记录备份恢 复后,作为slave需要的一些信息,根据这些信息,可以很方便的利用备份来重做slave。
2、Xtrabackup可以做什么 :
在线(热)备份整个库的InnoDB、 XtraDB表在xtrabackup的上一次整库备份基础上做增量备份(innodb only)以流的形式产生备份,可以直接保存到远程机器上(本机硬盘空间不足时很有用)
MySQL数据库本身提供的工具并不支持真正的增量备份,二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。
Xtrabackup工具支持对InnoDB存储引擎的增量备份,工作原理如下:
**(1)首先完成一个完全备份,并记录下此时检查点的LSN(Log Sequence Number)。
(2)在进程增量备份时,比较表空间中每个页的LSN是否大于上次备份时的LSN,如果是,则备份该页,同时记录当前检查点的LSN。**
首 先,在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”),然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile;接着,开始拷贝全部的数据文 件.ibd;在拷贝全部数据文件结束之后,才停止拷贝logfile。
因为logfile里面记录全部的数据修改情况,所以,即时在备份过程中数据文件被修改过了,恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。
因为innobackupex支持innodb,myisam,所以本文说一下,怎么使用innobackupex。
http://www.percona.com/downloads/XtraBackup/
2、安装xtrabackup
du -sh /usr/local/mysql/data/
17G /usr/local/mysql/data/
1、通过innobackupex对17G全库进行备份
2、全库数据还原
其实下面的命令也是和备份速度一样的,这里就不概述时间了,备份和还原17G的库所需时间为12分钟(执行命令所需时间)。
2、创建测试库test1,在全量备份的基础上再进行增量备份
3、创建测试库test2,在增量备份的基础上再进行增量备份
4、查看所备份的文件
这边可以看到所备份的三个文件
该目录下面还可以看到LSN及backup status (增备|完备)
5、查看当前MySQL中的数据库,并进行模拟故障演练及还原
(1)、查看数据库中有哪些库
(2)、增量还原
在这里有三个目录:
进行增量还原数据库。
下面执行最后一步,就是进行一次全量还原
还原完启动数据库之后查看有哪些库,以及是否被还原
一、Xtrabackup介绍
1、Xtrabackup是什么Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品。
Xtrabackup有两个主要的工具:xtrabackup、innobackupex
(1)、xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表。
(2)、 innobackupex是参考了InnoDB Hotbackup的innoback脚本修改而来的.innobackupex是一个perl脚本封装,封装了xtrabackup。主要是为了方便的 同时备份InnoDB和MyISAM引擎的表,但在处理myisam时需要加一个读锁。并且加入了一些使用的选项。如slave-info可以记录备份恢 复后,作为slave需要的一些信息,根据这些信息,可以很方便的利用备份来重做slave。
2、Xtrabackup可以做什么 :
在线(热)备份整个库的InnoDB、 XtraDB表在xtrabackup的上一次整库备份基础上做增量备份(innodb only)以流的形式产生备份,可以直接保存到远程机器上(本机硬盘空间不足时很有用)
MySQL数据库本身提供的工具并不支持真正的增量备份,二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。
Xtrabackup工具支持对InnoDB存储引擎的增量备份,工作原理如下:
**(1)首先完成一个完全备份,并记录下此时检查点的LSN(Log Sequence Number)。
(2)在进程增量备份时,比较表空间中每个页的LSN是否大于上次备份时的LSN,如果是,则备份该页,同时记录当前检查点的LSN。**
首 先,在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”),然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile;接着,开始拷贝全部的数据文 件.ibd;在拷贝全部数据文件结束之后,才停止拷贝logfile。
因为logfile里面记录全部的数据修改情况,所以,即时在备份过程中数据文件被修改过了,恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。
因为innobackupex支持innodb,myisam,所以本文说一下,怎么使用innobackupex。
二、安装xtrabackup
1、下载地址http://www.percona.com/downloads/XtraBackup/
2、安装xtrabackup
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev-devel rpm -ivh percona-xtrabackup-2.3.2-1.el6.x86_64.rpm
三、针对大数据进行测试备份和还原速度
我们先来看看当前数据库数据的大小:du -sh /usr/local/mysql/data/
17G /usr/local/mysql/data/
1、通过innobackupex对17G全库进行备份
time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) /root/backup/ 备份完成后会有如下提示,并且time命令会产生改命令耗时时间: completed OK! real 5m42.814s user 1m0.350s sys 2m8.940s
2、全库数据还原
其实下面的命令也是和备份速度一样的,这里就不概述时间了,备份和还原17G的库所需时间为12分钟(执行命令所需时间)。
/etc/init.d/mysqld stop #停止数据库 mv /usr/local/mysql/data /usr/local/mysql/data_bak #删除数据目录 mkdir -p /usr/local/mysql/data #新建数据目录 //--apply-log选项的命令是准备在一个备份上启动mysql服务 time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log /root/backup/2015-10-27_14-30-03/ //--copy-back 选项的命令从备份目录拷贝数据,索引,日志到my.cnf文件里规定的初始位置 time innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --copy-back /root/backup/2015-10-27_14-30-03/ chown -R mysql:mysql /usr/local/mysql/data #对MySQL用户进行赋权 /etc/init.d/mysqld start #启动MySQL
四、MySQL进行增量备份
1、先对数据库进行全备innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) /root/backup/
2、创建测试库test1,在全量备份的基础上再进行增量备份
create database test1; innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --incremental-basedir=/root/backup/2015-10-27_15-47-26/ --incremental /root/backup/
3、创建测试库test2,在增量备份的基础上再进行增量备份
create database test2; innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --incremental-basedir=/root/backup/2015-10-27_15-49-17/ --incremental /root/backup/
4、查看所备份的文件
这边可以看到所备份的三个文件
[root@hongxue_216 backup]# ll /root/backup/ total 12 drwx------ 5 root root 4096 Oct 27 15:47 2015-10-27_15-47-26 drwx------ 6 root root 4096 Oct 27 15:49 2015-10-27_15-49-17 drwx------ 7 root root 4096 Oct 27 15:51 2015-10-27_15-51-15
该目录下面还可以看到LSN及backup status (增备|完备)
[root@hongxue_216 backup]# cat 2015-10-27_15-47-26/xtrabackup_checkpoints #全备下的文件 backup_type = full-backuped #状态为全备 from_lsn = 0 #开始的lsn to_lsn = 22433423896 last_lsn = 22433423896 #结束的lsn compact = 0 recover_binlog_info = 0 [root@hongxue_216 backup]# cat 2015-10-27_15-49-17/xtrabackup_checkpoints #第一次增备下的文件 backup_type = incremental from_lsn = 22433423896 to_lsn = 22433423896 last_lsn = 22433423896 compact = 0 recover_binlog_info = 0 [root@hongxue_216 backup]# cat 2015-10-27_15-51-15/xtrabackup_checkpoints #第二次增备下的文件 backup_type = incremental from_lsn = 22433423896 to_lsn = 22433423896 last_lsn = 22433423896 compact = 0 recover_binlog_info = 0
5、查看当前MySQL中的数据库,并进行模拟故障演练及还原
(1)、查看数据库中有哪些库
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | | test1 | | test2 | +--------------------+ mysql>
(2)、增量还原
在这里有三个目录:
/root/backup/2015-10-27_15-47-26/,全备目录 /root/backup/2015-10-27_15-49-17/,第一次增备目录 /root/backup/2015-10-27_15-51-15/,第二次增备目录
进行增量还原数据库。
/etc/init.d/mysqld stop #停止数据库 rm -rf /usr/local/mysql/data/ #删除数据库 第一次还原 innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ 第二次还原,带增量备份1 innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ --incrementdir=/root/backup/2015-10-27_15-49-17/ 第三次还原,带增量备份2 innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log --redo-only /root/backup/2015-10-27_15-47-26/ --incrementdir=/root/backup/2015-10-27_15-51-15/
下面执行最后一步,就是进行一次全量还原
创建数据目录 mkdir -p /usr/local/mysql/data #创建数据目录 innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --apply-log /root/backup/2015-10-27_15-47-26/ innobackupex --defaults-file=/etc/my.cnf --user=root --password=$(cat /data/save/mysql_root) --copy-back /root/backup/2015-10-27_15-47-26/ chown -R mysql:mysql /usr/local/mysql/data/ #对数据进行赋权 /etc/init.d/mysqld start #启动MySQL服务
还原完启动数据库之后查看有哪些库,以及是否被还原
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | | test1 | | test2 | +--------------------+ 6 rows in set (0.00 sec) mysql>
相关文章推荐
- HDU 1789 Doing Homework again(馋)
- hdu 4630 No Pain No Game(线段树)
- 哈工大数据库课堂记录
- hdu 4609 3-idiots(FFT)
- leetcode contains duplicate III
- Daily Scrum 10.26
- Daily Scrum 10.25
- POJ 2027 No Brainer
- 【PAT】1014. Waiting in Line (30)
- 图像滤镜艺术---Photoshop实现Instagram之Mayfair滤镜效果
- .NET 通过SmtpClient发送邮件 提示 4.7.1 service unavailable try again later 解决办法
- IO_COMPLETION Wait Type
- uva10780 - Again Prime? No time
- Could not obtain transaction-synchronized Session for current thread
- Windows 2008 R2 AD系列四:Domain User权限运行软件
- 使用行为树(Behavior Tree)实现游戏AI
- 程序设计师不是那么好当的 (真实案例一起动动脑)
- hadoop集群安装
- Daily Scrumming* 2015.10.25(Day 6)
- HDU 2476 String painter(区间DP)