rsync+inotify实时备份加nfs挂载实战

因公司近期业务要求需要搭建一套服务具体要求如下图：



1、基本备份要求
已知 3 台服务器主机名分别为A(web01)、B(backup) 、C(nfs01)
要求： 每天晚上 0 00 点整在 b Web 服务器 A A 上 打包 备份系统配置文件、网站程序目录及访
问日志并通过 c rsync 命令推送备份服务器 B B 上备份保留（备份思路可以是先在本地按日期
打包，然后再推到备份服务器 B B 上）。
具体要求如下：
1)Web 服务器 A 和备份服务器 B 的备份目录必须都为/backup。
2)要备份的系统配置文件包括但不限于：
a.定时任务服务的配置文件(/var/spool/cron/root)。
b.开机自启动的配置文件(/etc/rc.local)。
c.日常脚本的目录(/server/scripts)。
d.防火墙 iptables 的配置文件(/etc/sysconfig/iptables)。
e. 自己思考下还有什么需 要备份呢？
3)Web 服务器站点目录假定为(/var/html/www)。
4)Web 服务器 A 访问日志路径假定为（/app/logs）
5)Web 服务器保留打包后的 7 天的备份数据即可(本地留存不能多于 7 天，因为太多硬盘会满)

6) 备份服务器 B B 上, , 保留 每周一的所有数据副本，其它 要保留 6 6 个月 的 数据副本。
7)备份服务器 B 上要按照备份数据服务器的IP 为目录保存备份，备份的文件按照时间名字
保存。
特别提示：本题在工作中是网站生产环境全网备份项目方案的一个小型模拟，很有意义。
2、本项目的整个备份逻辑结构如下图：
特别说明：
1）工作中领导很可能不会告诉你如何去做，只会提需求，例如：小崔，WEB 服务器很重要，
请你把数据在别的服务器备份一份（定期的备份）。
2）逻辑架构图更不可能是领导给你画，而是你理解了领导的意思，然后自己想出备份的方
案，最后，在实施前你做的一个图纸而已。
3、需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果
信息发给系统管理员邮箱中。
（三）网站集群后端 NFS 共享存储搭建及优化解决方案
1、配置 NFS 服务：
要求：
1）在 NFS 服务端 C(nfs01)上共享/data/w_shared及/data/r_shared 两个文件目录，允许从 NFS
客户端 A(web01)、B(backup)上分别挂载共享目录后可实现从 A(web01)、B(backup)上只读
/data/r_shared，可写/data/w_shared。
2）NFS 客户端 A(web01)上的挂载点为/data/b_w（写），/data/b_r（读）,
NFS 客户端 B(backup)上的挂载点为/data/w_你的名字英文（写）,/data/r_你名字英文
（读）。
3）从NFS客户端B(backup)上的NFS可写挂载点目录创建任意文件，从NFS客户端A(web01)
上可以删除这个创建的文件，反之也可以。
4）问答题：如何优化 NFS 服务？
2、本项目的整个备份逻辑结构如下图（红色虚线部分）：
（四）解决网站集群后端 NFS 共享存储单点实现实时数据同步
1、实时数据同步要求：
当用户通过 web 服务器将数据写入到 NFS 服务器 C(nfs01)时，同时复制到备份服务器
B(backup)

做全网备份首先做rsync服务

服务端backup搭建命令

cat >/etc/rsyncd.conf <<EOF
#Rsync server
uid = rsync
gid = rsync
use chroot = no
max connections = 2000
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#####################################
[backup]
comment = by oldboy 28qi liangye
path = /backup
[nfsbackup]
Path = /nfsbackup
EOF
useradd-s /sbin/nologin -M rsync
mkdir/backup
mkdir/nfsbackup
chown–R rsync.rsync /nfsbackup
chown-R rsync.rsync /backup
echo"rsync_backup:oldboy" >/etc/rsync.password
chmod600 /etc/rsync.password
rsync --daemon
lsof-i:873
echo"/usr/bin/rsync --daemon" >>/etc/rc.local

客服端nfs wed01 搭建命令

echo "oldboy">/etc/rsync.password
chmod 600 /etc/rsync.password
mkdir /backup
touch /backup/stu{1..5}
rsync -avz /backup/rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

全网备份wed客服端脚本

cd / &&\
ip=`ifconfig eth1|awk -F "[: ]+"'NR==2{print $4}'`
mkdir /backup/$ip -p
tar zcfh /backup/$ip/bak_$(date+%F_%w).tar.gz var/www/html app/logs var/spool/cron/root etc/rc.local etc/sysconfig/iptables server/scripts &&\
find /backup/$ip -type f -name"*$(date +%F_%w).tar.gz"|xargs md5sum >/backup/$ip/flag_$(date+%F_%w).txt &&\
rsync -av /backup/$iprsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password
find /backup/$ip -type f -mtime +7 -name"*.tar.gz"|xargs rm –fr

全网备份服务端backup脚本

LANG=en
flag_num=/tmp/check_$(date +%F).txt
find /backup/ -type f -name"flag_$(date +%F_%w).txt"|xargs md5sum -c|grep FAILED&>$flag_num
if [ `cat $flag_num|wc -l` -gt 0 ];then
mail -s "$(date +%F\ %T) backup is fail!!" 15855157337@163.com<$flag_num
else
echo "backup is ok"|mail -s "$(date +%F\ %T) backup issuccessful" 15855157337@163.com
fi
#find /backup/172.16.1.31/ -type f -mtime -7 \! -name "bak*_6.tar.gz"|xargs rm –fr

因为我们要受到服务端的邮件所以要在/etc/mail.rc 下面添加配置文件

set from=15855557337@163.com smtp=smtp.163.comsmtp-auth-user=15855557337 smtp-auth-password=cai1234 smtp-auth=login

2．配置 NFS 服务

Nfs服务端搭建命令

yum install nfs-utils rpcbind –y
mkdir /data/w_share -p
mkdir /data/r_share -p
echo "/data/w_share172.16.1.0/24(rw,sync)">>/etc/exports
echo "/data/r_share 172.16.1.0/24(ro,sync)">>/etc/exports
chown -R nfsnobody:nfsnobody /data&&\
chown -R nfsnobody:nfsnobody /data/r_share/
chown -R nfsnobody:nfsnobody /data/w_share
/etc/init.d/rpcbind restart
/etc/init.d/rpcbind restart
/etc/init.d/nfs restart
/etc/init.d/nfs restart

nfs挂载wed01客服端搭建命令

yum install nfs-utils rpcbind-y
/etc/init.d/rpcbind restart
/etc/init.d/rpcbind restart
/etc/init.d/nfs restart
/etc/init.d/nfs restart
showmount -e 172.16.1.31
mkdir /data/w_caizhiliang –p
mkdir /data/r_caizhiliang –p
mount -t nfs 172.16.1.31:/data/w_share /data/w_caizhiliang
mount -t nfs172.16.1.31:/data/r_share /data/r_caizhiliang
echo"/usr/bin/mount -t nfs 172.16.1.31:/data/r_share /data/r_caizhiliang” >> /etc/rc.loca
echo"/usr/bin/mount -t nfs 172.16.1.31:/data/w_share /data/w_caizhiliang” >> /etc/rc.loca

nfsg挂载backup客服端搭建命令

yum install nfs-utils rpcbind -y
/etc/init.d/rpcbind restart
/etc/init.d/rpcbind restart
/etc/init.d/nfs restart
/etc/init.d/nfs restart
showmount -e 172.16.1.31
mkdir /data/d_w –p
mkdir /data/d_r –p
mount -t nfs 172.16.1.31:/data/w_share /data/d_w
mount -t nfs 172.16.1.31:/data/r_share /data/d_r
echo "/usr/bin/mount -t nfs 172.16.1.31: /data/r_share /data/d_r”>> /etc/rc.loca
echo "/usr/bin/mount -t nfs 172.16.1.31: /data/w_share /data/d_w”>> /etc/rc.loca

实时备份inotify安装

在NFS服务器上安装

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo&&\
yum install inotify-tools –y
实时备份脚本
#!/bin/bash
Path=/data
Ip=172.16.1.41
/usr/bin/inotifywait -mrq --format '%w%f' -e close_write,delete $Path \
|while read file
do
if [ -f $file ];then
rsync -az $file --delete rsync_backup@$Ip::nfsbackup --password-file=/etc/rsync.password
else
cd $Path &&\
rsync -az ./ --delete rsync_backup@$Ip::nfsbackup --password-file=/etc/rsync.password
fi
done

实时备份开机自启命令

chkconfig --add syncd
chkconfig syncd on
vim /etc/init.d/syncd
vim /etc/init.d/rsyncd[root@nfs01 scripts]# cat /etc/init.d/syncd
#!/bin/bash
#chkconfig: 2345 38 46
################################################

. /etc/init.d/functions

if [ $# -ne 1 ];then
usage: $0 {start|stop}
exit 1
fi

case "$1" in
start)
/bin/bash /server/scripts/shishibeifen.sh&
echo $$ >/var/run/inotify.pid
if [ `ps -ef|grep inotify|wc -l` -gt 2 ];then
action "inotify service is started" /bin/true
else
action "inotif yservice is started" /bin/false
fi
;;
stop)
kill -9 `cat /var/run/inotify.pid` >/dev/null 2>&1
pkill inotifywait
sleep 2
if [ `ps -ef|grep inotify|grep -v grep|wc -l` -eq 0 ];then
action "inotify service is stopped" /bin/true
else
action "inotify service is stopped" /bin/false
fi
;;
*)
usage: $0 {start|stop}
exit 1
esac