rsync和inotify-tools

1.环境：Ubuntu 8.04.4 LTS \n \l2.rsync简介
与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

3.inotify简介
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
4.功能说明
rsync客户端和inotify： 1.1.1.1
rsync服务端 ： 2.2.2.2
本文需要将rsync1.1.1.1的目录/home/user1/test 目录下的文件自动同步到2.2.2.2的/home/user1/test目录下面。这里1.1.1.1 向2.2.2.2同步文件，那么1.1.1.1就算是客户端，2.2.2.2相当于服务端。
5.rsync服务端安装配置 2.2.2.2

sudo apt-get install rsync

sudo vim /etc/rsyncd.conf
# sample rsyncd.conf configuration file
# GLOBAL OPTIONS

#motd file=/etc/motd
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file = /var/run/rsync.lock
address=2.2.2.2
# MODULE OPTIONS

[gamefile]

comment = public archive
path = /home/user1/test
use chroot = no
max connections=10
lock file = /var/lock/rsyncd
# the default for read only is yes...
read only = false
list = false
uid = user1
gid = user1
# exclude =
# exclude from =
# include =
# include from =
auth users = user1
# secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = 1.1.1.1
hosts deny = *
ignore errors = no
transfer logging = no
# log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
timeout = 600
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
secrets file = /etc/rsyncd.pass

sudo vim /etc/rsyncd.pass ，添加认证的用户名和密码
user1:111111

6. 1.1.1.1客户端安装配置
sudo apt-get -y install rsync inotify-tools
sudo vim /usr/bin/1.sh
#!/bin/bash
srcdir=/home/user1/test/
dstdir=gamefile
rsyncuser=user1
rsyncpassdir=/etc/rsyncd.pass
dstip="2.2.2.2"
for ip in $dstip
do
rsync -avH --port=873 --progress --delete $srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
done
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $srcdir | while read file
do
for ip in $dstip
do
rsync -avH --port=873 --progress --delete $srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done
done

脚本解释：
第一个for循环:使用rsync第一次同步文件，第2个for循环：用inotify来检测磁盘变化，若有变化则触发rsync同步。
sudo vim /etc/rsyncd.pass
只需添加密码即可：
111111
7.客户端和服务端都需要启用rsync服务
sudo vim /etc/default/rsync
RSYNC_ENABLE=true //修改为true

sudo vim /etc/init.d/rsync
RSYNC_ENABLE=yes //修改为yes
8.启动

启动rsync
sudo /etc/init.d/rsync start
启动 rsync和inotify结合使用的脚本，注意用root权限启动！
sudo sh /usr/bin/1.sh
放到后台：
sudo sh /usr/bin/1.sh &
9.开机启动
sudo vim /etc/rc.local ，在exit 0前面写上启动脚本
sh /usr/bin/1.sh &
exit 0
10.inotify简介
Inotify一种强大的、细粒度的、异步文件系统监控机制，它满足各种各样的文件监控需要，可以监控文件系统的访问属性、读写属性、权限属性、删除创建、移动等操作，也就是可以监控文件发生的一切变化。。
inotify-tools是一个C库和一组命令行的工作提供Linux下inotify的简单接口。inotify-tools安装后会得到inotifywait和inotifywatch这两条命令：
inotifywait命令可以用来收集有关文件访问信息，Linux发行版一般没有包括这个命令，需要安装inotify-tools，这个命令还需要将inotify支持编译入Linux内核，好在大多数Linux发行版都在内核中启用了inotify。
inotifywatch命令用于收集关于被监视的文件系统的统计数据，包括每个 inotify 事件发生多少次。
开始之前需要检测系统内核是否支持inotify：
使用uname -r命令检查Linux内核，如果低于2.6.13，就需要重新编译内核加入inotify的支持。
使用ll /proc/sys/fs/inotify命令，是否有以下三条信息输出，如果没有表示不支持。
ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_queued_events
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_user_instances
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_user_watches
安装inotify-tools

inotify-tools项目地址：https://github.com/rvoicilas/inotify-tools
inotify-tools下载地址：http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
#CentOS release 5.8/64位：
tar zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure
make
make install
其他Linux发行版安装方法可以参见：https://github.com/rvoicilas/inotify-tools/wiki#wiki-getting

inotify相关参数
inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小：
/proc/sys/fs/inotify/max_queued_evnets表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小。
根据以上在32位或者64位系统都可以执行：
echo 104857600 > /proc/sys/fs/inotify/max_user_watches
echo 'echo 104857600 > /proc/sys/fs/inotify/max_user_watches' >> /etc/rc.local
如果遇到以下错误：
inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or directory
解决方法：
32位系统：ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib/libinotifytools.so.0
64位系统：ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0
inotifywait命令使用
#!/bin/bash
#filename watchdir.sh
path=$1
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%T %w %f' -e modify,delete,create,attrib $path
执行输出：
./watchdir.sh /data/wsdata/tools/
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swx
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swx
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp

-m是要持续监视变化。
-r使用递归形式监视目录。
-q减少冗余信息，只打印出需要的信息。
-e指定要监视的事件列表。
--timefmt是指定时间的输出格式。
--format指定文件变化的详细信息。
可监听的事件
事件描述
access访问，读取文件。
modify修改，文件内容被修改。
attrib属性，文件元数据被修改。
move移动，对文件进行移动操作。
create创建，生成新文件
open打开，对文件进行打开操作。
close关闭，对文件进行关闭操作。
delete删除，文件被删除。
11.rsync命令详解
http://pnig0s1992.blog.51cto.com/393390/347331
问题总结：
有一次sersync和rsync服务器 只能同步一次，后面把sersync程序换为线上正常的，然后关闭下主服务器的iptables。后面发现可以了。
注意：如果数据量较大，sersync需要先同步第一次，这个时间会较长，需要等待较长时间，才可以测试实时同步。