rsync和inotify-tools
2015-08-10 22:43
232 查看
1.环境:Ubuntu 8.04.4 LTS \n \l2.rsync简介
与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!
3.inotify简介
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。
4.功能说明
rsync客户端和inotify: 1.1.1.1
rsync服务端 : 2.2.2.2
本文需要将rsync1.1.1.1的目录/home/user1/test 目录下的文件自动同步到2.2.2.2的/home/user1/test目录下面。这里1.1.1.1 向2.2.2.2同步文件,那么1.1.1.1就算是客户端,2.2.2.2相当于服务端。
5.rsync服务端安装配置 2.2.2.2
sudo apt-get install rsync
sudo vim /etc/rsyncd.conf
# sample rsyncd.conf configuration file
# GLOBAL OPTIONS
#motd file=/etc/motd
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file = /var/run/rsync.lock
address=2.2.2.2
# MODULE OPTIONS
[gamefile]
comment = public archive
path = /home/user1/test
use chroot = no
max connections=10
lock file = /var/lock/rsyncd
# the default for read only is yes...
read only = false
list = false
uid = user1
gid = user1
# exclude =
# exclude from =
# include =
# include from =
auth users = user1
# secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = 1.1.1.1
hosts deny = *
ignore errors = no
transfer logging = no
# log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
timeout = 600
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
secrets file = /etc/rsyncd.pass
sudo vim /etc/rsyncd.pass ,添加认证的用户名和密码
user1:111111
6. 1.1.1.1客户端安装配置
sudo apt-get -y install rsync inotify-tools
sudo vim /usr/bin/1.sh
#!/bin/bash
srcdir=/home/user1/test/
dstdir=gamefile
rsyncuser=user1
rsyncpassdir=/etc/rsyncd.pass
dstip="2.2.2.2"
for ip in $dstip
do
rsync -avH --port=873 --progress --delete $srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
done
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $srcdir | while read file
do
for ip in $dstip
do
rsync -avH --port=873 --progress --delete $srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done
done
脚本解释:
第一个for循环:使用rsync第一次同步文件,第2个for循环:用inotify来检测磁盘变化,若有变化则触发rsync同步。
sudo vim /etc/rsyncd.pass
只需添加密码即可:
111111
7.客户端和服务端都需要启用rsync服务
sudo vim /etc/default/rsync
RSYNC_ENABLE=true //修改为true
sudo vim /etc/init.d/rsync
RSYNC_ENABLE=yes //修改为yes
8.启动
启动rsync
sudo /etc/init.d/rsync start
启动 rsync和inotify结合使用的脚本,注意用root权限启动!
sudo sh /usr/bin/1.sh
放到后台:
sudo sh /usr/bin/1.sh &
9.开机启动
sudo vim /etc/rc.local ,在exit 0前面写上启动脚本
sh /usr/bin/1.sh &
exit 0
10.inotify简介
Inotify一种强大的、细粒度的、异步文件系统监控机制,它满足各种各样的文件监控需要,可以监控文件系统的访问属性、读写属性、权限属性、删除创建、移动等操作,也就是可以监控文件发生的一切变化。。
inotify-tools是一个C库和一组命令行的工作提供Linux下inotify的简单接口。inotify-tools安装后会得到inotifywait和inotifywatch这两条命令:
inotifywait命令可以用来收集有关文件访问信息,Linux发行版一般没有包括这个命令,需要安装inotify-tools,这个命令还需要将inotify支持编译入Linux内核,好在大多数Linux发行版都在内核中启用了inotify。
inotifywatch命令用于收集关于被监视的文件系统的统计数据,包括每个 inotify 事件发生多少次。
开始之前需要检测系统内核是否支持inotify:
使用uname -r命令检查Linux内核,如果低于2.6.13,就需要重新编译内核加入inotify的支持。
使用ll /proc/sys/fs/inotify命令,是否有以下三条信息输出,如果没有表示不支持。
ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_queued_events
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_user_instances
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_user_watches
安装inotify-tools
inotify-tools项目地址:https://github.com/rvoicilas/inotify-tools
inotify-tools下载地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
#CentOS release 5.8/64位:
tar zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure
make
make install
其他Linux发行版安装方法可以参见:https://github.com/rvoicilas/inotify-tools/wiki#wiki-getting
inotify相关参数
inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小:
/proc/sys/fs/inotify/max_queued_evnets表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小。
根据以上在32位或者64位系统都可以执行:
echo 104857600 > /proc/sys/fs/inotify/max_user_watches
echo 'echo 104857600 > /proc/sys/fs/inotify/max_user_watches' >> /etc/rc.local
如果遇到以下错误:
inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or directory
解决方法:
32位系统:ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib/libinotifytools.so.0
64位系统:ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0
inotifywait命令使用
#!/bin/bash
#filename watchdir.sh
path=$1
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%T %w %f' -e modify,delete,create,attrib $path
执行输出:
./watchdir.sh /data/wsdata/tools/
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swx
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swx
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
-m是要持续监视变化。
-r使用递归形式监视目录。
-q减少冗余信息,只打印出需要的信息。
-e指定要监视的事件列表。
--timefmt是指定时间的输出格式。
--format指定文件变化的详细信息。
可监听的事件
事件描述
access访问,读取文件。
modify修改,文件内容被修改。
attrib属性,文件元数据被修改。
move移动,对文件进行移动操作。
create创建,生成新文件
open打开,对文件进行打开操作。
close关闭,对文件进行关闭操作。
delete删除,文件被删除。
11.rsync命令详解
http://pnig0s1992.blog.51cto.com/393390/347331
问题总结:
有一次sersync和rsync服务器 只能同步一次,后面把sersync程序换为线上正常的,然后关闭下主服务器的iptables。后面发现可以了。
注意:如果数据量较大,sersync需要先同步第一次,这个时间会较长,需要等待较长时间,才可以测试实时同步。
与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。
随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!
3.inotify简介
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。
4.功能说明
rsync客户端和inotify: 1.1.1.1
rsync服务端 : 2.2.2.2
本文需要将rsync1.1.1.1的目录/home/user1/test 目录下的文件自动同步到2.2.2.2的/home/user1/test目录下面。这里1.1.1.1 向2.2.2.2同步文件,那么1.1.1.1就算是客户端,2.2.2.2相当于服务端。
5.rsync服务端安装配置 2.2.2.2
sudo apt-get install rsync
sudo vim /etc/rsyncd.conf
# sample rsyncd.conf configuration file
# GLOBAL OPTIONS
#motd file=/etc/motd
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file = /var/run/rsync.lock
address=2.2.2.2
# MODULE OPTIONS
[gamefile]
comment = public archive
path = /home/user1/test
use chroot = no
max connections=10
lock file = /var/lock/rsyncd
# the default for read only is yes...
read only = false
list = false
uid = user1
gid = user1
# exclude =
# exclude from =
# include =
# include from =
auth users = user1
# secrets file = /etc/rsyncd.secrets
strict modes = yes
hosts allow = 1.1.1.1
hosts deny = *
ignore errors = no
transfer logging = no
# log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
timeout = 600
refuse options = checksum dry-run
dont compress = *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
secrets file = /etc/rsyncd.pass
sudo vim /etc/rsyncd.pass ,添加认证的用户名和密码
user1:111111
6. 1.1.1.1客户端安装配置
sudo apt-get -y install rsync inotify-tools
sudo vim /usr/bin/1.sh
#!/bin/bash
srcdir=/home/user1/test/
dstdir=gamefile
rsyncuser=user1
rsyncpassdir=/etc/rsyncd.pass
dstip="2.2.2.2"
for ip in $dstip
do
rsync -avH --port=873 --progress --delete $srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
done
/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,modify,delete,create,attrib,move $srcdir | while read file
do
for ip in $dstip
do
rsync -avH --port=873 --progress --delete $srcdir $rsyncuser@$ip::$dstdir --password-file=$rsyncpassdir
echo " ${file} was rsynced" >> /tmp/rsync.log 2>&1
done
done
脚本解释:
第一个for循环:使用rsync第一次同步文件,第2个for循环:用inotify来检测磁盘变化,若有变化则触发rsync同步。
sudo vim /etc/rsyncd.pass
只需添加密码即可:
111111
7.客户端和服务端都需要启用rsync服务
sudo vim /etc/default/rsync
RSYNC_ENABLE=true //修改为true
sudo vim /etc/init.d/rsync
RSYNC_ENABLE=yes //修改为yes
8.启动
启动rsync
sudo /etc/init.d/rsync start
启动 rsync和inotify结合使用的脚本,注意用root权限启动!
sudo sh /usr/bin/1.sh
放到后台:
sudo sh /usr/bin/1.sh &
9.开机启动
sudo vim /etc/rc.local ,在exit 0前面写上启动脚本
sh /usr/bin/1.sh &
exit 0
10.inotify简介
Inotify一种强大的、细粒度的、异步文件系统监控机制,它满足各种各样的文件监控需要,可以监控文件系统的访问属性、读写属性、权限属性、删除创建、移动等操作,也就是可以监控文件发生的一切变化。。
inotify-tools是一个C库和一组命令行的工作提供Linux下inotify的简单接口。inotify-tools安装后会得到inotifywait和inotifywatch这两条命令:
inotifywait命令可以用来收集有关文件访问信息,Linux发行版一般没有包括这个命令,需要安装inotify-tools,这个命令还需要将inotify支持编译入Linux内核,好在大多数Linux发行版都在内核中启用了inotify。
inotifywatch命令用于收集关于被监视的文件系统的统计数据,包括每个 inotify 事件发生多少次。
开始之前需要检测系统内核是否支持inotify:
使用uname -r命令检查Linux内核,如果低于2.6.13,就需要重新编译内核加入inotify的支持。
使用ll /proc/sys/fs/inotify命令,是否有以下三条信息输出,如果没有表示不支持。
ll /proc/sys/fs/inotify
total 0
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_queued_events
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_user_instances
-rw-r--r-- 1 root root 0 Jan 4 15:41 max_user_watches
安装inotify-tools
inotify-tools项目地址:https://github.com/rvoicilas/inotify-tools
inotify-tools下载地址:http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
#CentOS release 5.8/64位:
tar zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14
./configure
make
make install
其他Linux发行版安装方法可以参见:https://github.com/rvoicilas/inotify-tools/wiki#wiki-getting
inotify相关参数
inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小:
/proc/sys/fs/inotify/max_queued_evnets表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小。
根据以上在32位或者64位系统都可以执行:
echo 104857600 > /proc/sys/fs/inotify/max_user_watches
echo 'echo 104857600 > /proc/sys/fs/inotify/max_user_watches' >> /etc/rc.local
如果遇到以下错误:
inotifywait: error while loading shared libraries: libinotifytools.so.0: cannot open shared object file: No such file or directory
解决方法:
32位系统:ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib/libinotifytools.so.0
64位系统:ln -s /usr/local/lib/libinotifytools.so.0 /usr/lib64/libinotifytools.so.0
inotifywait命令使用
#!/bin/bash
#filename watchdir.sh
path=$1
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%T %w %f' -e modify,delete,create,attrib $path
执行输出:
./watchdir.sh /data/wsdata/tools/
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swx
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swx
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
04/01/13/16:34 /data/wsdata/tools/ .j.jsp.swp
-m是要持续监视变化。
-r使用递归形式监视目录。
-q减少冗余信息,只打印出需要的信息。
-e指定要监视的事件列表。
--timefmt是指定时间的输出格式。
--format指定文件变化的详细信息。
可监听的事件
事件描述
access访问,读取文件。
modify修改,文件内容被修改。
attrib属性,文件元数据被修改。
move移动,对文件进行移动操作。
create创建,生成新文件
open打开,对文件进行打开操作。
close关闭,对文件进行关闭操作。
delete删除,文件被删除。
11.rsync命令详解
http://pnig0s1992.blog.51cto.com/393390/347331
问题总结:
有一次sersync和rsync服务器 只能同步一次,后面把sersync程序换为线上正常的,然后关闭下主服务器的iptables。后面发现可以了。
注意:如果数据量较大,sersync需要先同步第一次,这个时间会较长,需要等待较长时间,才可以测试实时同步。
相关文章推荐
- 如何在使用 scp 命令时递归地排除文件
- rsync ssh 数据同步分析
- rsync详解之exclude排除文件
- rsync结合find技巧分享
- rsync 数据同步使用详解
- 用rsync实现windows与linux文件同步的方法
- rsync命令排除文件和文件夹(exclude-from)
- Windows rsync服务器备份配置实例
- window系统的Rsync同步实战分析第1/2页
- 使用RSYNC在服务器间镜像或者备份目录和文件
- 利用rsync自动备份 完全配置方法 增加了ip限制
- Linux 用cp和rsync同步文件时跳过指定目录的方法
- rsync 同步错误 cwrsync rsync error rsync error: some files/attrs were not transferred 解决方法
- 用rsync对网站进行镜像备份实现步骤
- rsync中文手册之使用rsync实现网站镜像和备份linux第1/3页
- Python中使用Inotify监控文件实例
- 使用rsync同步网路备份第1/2页
- 使用rsync来实现文件同步
- rsync相对于其他同步工具的优缺点介绍
- Rsync 服务器文件同步的搭建以及使用