Linux 上的常用文件传输方式介绍与比较
2013-10-18 14:56
513 查看
Linux 上的常用文件传输方式介绍与比较
李 梅雯 (limeiw@cn.ibm.com), 软件工程师, IBM 孙 敏 (sunmin@cn.ibm.com), 软件工程师, IBM郭 聪宾 (guocb@cn.ibm.com), 软件工程师, IBM 简介: Linux 环境中有多种方式可以实现不同主机之间的文件传输或同步。在不同的场景下,选择合适的方法进行传输会大大提高工作效率以及质量。本文通过总结 Linux 环境下常用的几种文件传输方法,结合具体使用实例以及对这些方法优缺点的分析对比,希望能够对需要在 Linux 或 unix 环境下进行文件传输或同步的朋友提供一些帮助。发布日期:[/b] 2010 年 9 月 20 日级别:[/b] 初级
访问情况 : 25354 次浏览
评论: (查看 | 添加评论 - 登录)
平均分 (49个评分)
为本文评分
ftpftp 命令使用文件传输协议(File Transfer Protocol, FTP)在本地主机和远程主机之间或者在两个远程主机之间进行文件传输。FTP 协议允许数据在不同文件系统的主机之间传输。尽管这个协议在传输数据上提供了高适应性,但是它并没有尝试去保留一个特定文件系统上的文件属性(例如一个文件的保护模式或者修改次数)。而且 FTP 协议很少对一个文件系统的整体结构作假定,也不提供这样的功能,比如递归的拷贝子目录。在使用 ftp 命令时,需要注意 FTP 协议的这些特性。当需要保留文件属性或者需要递归的拷贝子目录时,可以使用 rcp/scp 等命令。基本语法ftp 命令的一般格式如下:$ ftp 主机名 /IP其中“主机名 /IP ”是所要连接的远程机的主机名或 IP 地址。在命令行中,主机名属于可选项,如果指定主机名,ftp 将试图与远程机的 ftp 服务程序进行连接;如果没有指定主机名,ftp 将给出提示符,等待用户输入命令:
$ ftp ftp > |
表 1. ftp 子命令[/b]
命令 | 描述 |
ls | 列出远程机的当前目录 |
cd | 在远程机上改变工作目录 |
lcd | 在本地机上改变工作目录 |
ascii | 设置文件传输方式为 ASCII 模式 |
binary | 设置文件传输方式为二进制模式 |
close | 终止当前的 ftp 会话 |
get (mget) | 从远程机传送指定文件到本地机 |
put (mput) | 从本地机传送指定文件到远程机 |
open | 连接远程 ftp 站点 |
quit | 断开与远程机的连接并退出 ftp |
? | 显示本地帮助信息 |
! | 转到 Shell 中 |
prompt 1 | 关闭交互模式 |
ftp -ni <<+ open $IP user $USERNAME $PASSWD bin cd /home lcd /opt/ibm mget file1.log file2.sh lcd /opt mput file3.jave ls bye |
rcp [-px] [-k realm] file1 file2 rcp [-px] [-r] [-k realm] file directory |
表 2. rcp 命令的命令行参数[/b]
选项 | 描述 |
-r | 递归地将源目录中的所有内容拷贝到目的目录中。若使用该选项,目的须为一个目录。 |
-p | 试图保留源文件的修改时间和模式,忽略 umask 。 |
-k | 请求 rcp 获得在指定区域内的远程主机的 Kerberos 许可,而不是获得由 krb_relmofhost(3)确定的远程主机区域内的远程主机的 Kerberos 许可。 |
-x | 为传送的所有数据进行 DES 加密。这会影响响应时间和 CPU 利用率,但是可以提高安全性。 |
将多个本地文件复制到远程登录目录的子目录中rcp <source1> <source2> <source3> <subdirectory in remote system>
将多个文件从多个远程源复制到使用不同用户名的远程目标中rcp <host1.user1:source1> <host2.user2:source2> <dest.destuser:directory>
回页首scpscp 命令在网络上的主机之间拷贝文件,它是安全拷贝(secure copy)的缩写。 scp 命令使用 ssh 来传输数据,并使用与 ssh 相同的认证模式,提供同样的安全保障。 scp 命令的用法和 rcp 命令非常类似,这里就不做过多介绍了。一般推荐使用 scp 命令,因为它比 rcp 更安全。我们可以通过配置 ssh,使得在两台机器间拷贝文件时不需要每次都输入用户名和密码。基本语法
scp [-1246BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file] [-l limit] [-o ssh_option] [-P port] [-S program] [[user@]host1:]file1 [...] [[user@]host2:]file2 |
$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/user/.ssh/id_rsa): Created directory '/home/user/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/user/.ssh/id_rsa. Your public key has been saved in /home/user/.ssh/id_rsa.pub. The key fingerprint is: 10:66:da:38:85:8a:8c:bd:db:9c:6e:eb:ee:bd:7d:15 user@somehost |
copy 远程机器 sysB 上的文件 /home/uesr/eva.log, 到本地的 /etc 目录下 , 并保持文件属性不变scp -p user@sysB:/home/uesr/eva.log /etc
copy sysB 上的目录 /home/user, 到本地 /home/user/tmp, <new dir,/home/user/tmp/user>scp -r user@sysB:/home/user /home/user/tmp
回页首wgetwget 是一个经由 GPL 许可的可从网络上自动获取文件的自由软件包。它是一个非交互式的命令行工具。支持 HTTP,HTTPS 和 FTP 协议,支持代理服务器以及断点续传功能。 wget 可实现递归下载,即可跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构,实现远程网站的镜像。在递归下载时,wget 将页面中的超级链接转换成指向本地文件,方便离线浏览。由于非交互特性,wget 支持后台运行,用户在退出系统后,仍可继续运行。功能强大,设置方便简单。基本语法
wget [options] [URL-list] |
选项 | 描述 |
-r | 递归下载服务器上所有的目录和文件。由 -l 选项来指定递归深度。 |
-b | 后台下载 |
-m | 制作站点镜像 |
-c | 指定断点续传功能。该功能要求服务器支持断点续传。 |
-I | 指定下载目录列表,可实现批量下载 |
-A/-R | 指定接受/拒绝下载列表,实现选择性地下载 |
--proxy=on/off | 指定是否利用代理服务器进行下载 |
-t, --tries=NUMBER | 最大尝试链接次数 (0 表示无限制,默认为 20 次 ) |
-nc, --no-clobber | 不覆盖已存在的文件 |
-N, --timestamping | 只下载比本地新的文件 |
-nd --no-directories | 不进行目录结构创建 |
-x, --force-directories | 强制创建目录结构 |
-nH, --no-host-directories | 不继承主机目录结构 |
-P, --directory-prefix=PREFIX | 设置目录前缀 |
wget -r -p -np -k http://www.ibm.com.cn 将在本地硬盘建立 http://www.ibm.com.cn 的镜像,镜像文件存入当前目录下一个名为 www.ibm.com.cn 的子目录中(也可以使用 -nH 参数指定不建立该子目录,而直接在当前目录下建立镜像的目录结构),递归深度为 4,重试次数为无穷(若连接出现问题,wget 将永远重试下去,直至任务完成)
wget -m -l4 -t0 http://www.ibm.com.c 使用代理进行下载,并实现断点续传。代理可以在环境变量 PROXY 或 wgetrc 文件中设定。 -c 选项要求服务支持断点续传。
wget -Y on -c http://www.ibm.com.cn 回页首curl另一个可以用来进行文件传输的工具是 curl,它是对 libcurl 库的一个命令行工具包装。 libcurl 库中提供了相应功能的 API,可以在程序中调用。对于 libcurl 库的使用方法介绍超出了本文的讨论范围。 curl 使用 URL 的语法来传输文件,它支持 FTP, FTPS, HTTP, HTTPS, TFTP, SFTP, TELNET 等多种协议。 curl 功能强大,它提供了包括代理支持,用户认证,FTP 上载,HTTP post,SSL 连接,文件续传等许多特性。基本语法
curl [options … ] <url> |
如果需要指定用户名和密码的话,可以在 url 中指定,或者使用 -u 参数curl ftp://name:passwd@machine.domain:port/full/path/to/filecurl -u name:passwd ftp://machine.domain:port/full/path/to/file curl 会将从指定 url 处获取的内容打印到标准输出上。如果需要保存在本地文件中,可以使用 -o,或使用 -O 参数指定使用远程主机上的文件名(如果 url 中没有给出文件名的部分,则此操作将会失败)curl – o gnu.html http://www.gnu.orgcurl – O http://www.gnu.org/index.html 使用 -x 选项来使用代理进行连接curl -x my-proxy:port ftp://ftp.somesite.com/README 通过使用 curl 的 -T 选项来进行上载curl -T - ftp://ftp.upload.com/upfile 此命令从标准输入读取数据,并上载至远程 FTP 服务器上的 upfile 文件中。也可以指定上载一个本地文件curl -T localfile -a ftp://ftp.upload.com/upfile其中 -a 参数表示以添加方式将 localfile 中的内容附加到 upfile 的末尾。
总的来说,curl 适合用来进行自动的文件传输或操作序列,它是一个很好的模拟用户在网页浏览器上的行为的工具。尤其当需要在程序中调用时,libcurl 是个很好的选择。回页首rsyncrsync 是一款高效的远程数据备份和镜象工具,可快速地同步多台主机间的文件,其具有如下特性:支持链接、所有者、组信息以及权限信息的拷贝;
通过远程 shell(ssh, rsh)进行传输;
无须特殊权限即可安装使用;
流水线式文件传输模式,文件传输效率高;
支持匿名操作;
需要提及的是 rsync 以其优越的性能优势区别于其它几种 Linux 文件传输方法,其同步文件的速度相当快,这主要归功于 rsync 所使用的传输算法。简而言之 rsync 算法能在相当短的时间内计算出需要备份的数据,只对源文件与目标文件的不同之处进行传输,从而降低网络中传输的数据量,以此达到快速备份镜像的目的。下面通过一典型应用场景来描述 rsync 算法的基本原理:主机 A 与主机 B 均有对同一文件的拷贝,用户对主机 A 上的拷贝进行更新,主机 B 通过 rsync 算法对更新后的文件进行同步。以下是该算法的实现步骤:主机 B 将原始拷贝划分成大小为 N 的不重合的若干块(文件末尾部分分块大小可能不足 N),并对这些数据块进行两种不同方式的校验:32 位的滚动弱校验、128 位的 MD4 强校验。弱校验较之强校验计算速度快。
主机 B 将每个数据块的弱校验、强校验结果发送给主机 A 。
主机 A 对更新后的文件拷贝中的每个长度为 N 的数据块进行弱校验并与从 B 接收到的弱校验值进行匹配,若相同再进行强校验匹配。由于弱校验的滚动特性可以快速地筛选出需要进行同步的数据块。该算法的运算量主要集中在主机 A 上。
通过上述计算,主机 A 将文件的不同部分发送给 B,B 接收到两个拷贝之间的不同之处,从而同步得到更新后的文件。
通过如上方式,rsync 避免了对相同数据的传输,减少了网络带宽的浪费。在时间上整个过程中需一个往返,从某种程度上也保证了 rsync 的优越性能。用户可从官方网站 http://rsync.samba.org/ 上下载安装 rsync 的最新版本。使用时需将 rsync 分别安装于服务端和客户端,服务端和客户端使用同一个 rsync 软件包来实现远程镜像和定期同步更新。需要说明的是一个 rsync 服务端可同时备份多个客户端的数据;多个服务端备份一个客户端的数据。 rsync 默认端口为 873,服务器在该端口接收客户的匿名或者认证方式的备份请求。rsync 服务端在使用之前需要进行必要的配置,其配置文件为 /etc/rsyncd.conf,进行认证、访问、日志记录等控制。配置文件包括全局参数、模块参数的设置。 rsyncd.conf 文件中 [module] 之前的所有参数为全局参数,也可以在全局参数部分定义模块参数,在这种情况下该参数的值就是所有模块的默认值。全局参数设置程序使用的端口号,指定消息文件、日志文件 pid 文件以及发送日志消息的级别。模块参数主要定义服务端哪个目录需要被同步。用户可根据不同的需要指定多个模块,每个模块对应需要备份的一个目录树,即若有 N 个需要备份的目录树,则需要 N 个模块与之对应。模块中可以定义许多参数,常见参数如下。
表 4. rsyncd.conf 配置文件常见模块参数列表[/b]
选项 | 描述 |
Comment | 模块信息描述,该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。 |
Path | 指定供备份的目录路径,必须指定该参数。 |
max connections | 指定最大并发连接数以保护服务器,超过限制的连接请求将被告知随后再试。默认值为 0,即没有限制。 |
log file | 指定日志文件 |
read only | 设定是否允许客户上载文件。若为 true 任何上载请求均会失败,若为 false 且客户端拥有服务器目录读写权限则可以上载。默认值为 true 。 |
write only | 设定是否允许客户下载文件。若为 true 任何下载请求均会失败,默认值为 false 。 |
List | 设定当客户请求可以使用的模块列表时,是否列出该模块。若为 false,则创建隐藏的模块。默认值为 true 。 |
fake super | 允许文件享有所有权限,而无需后台服务以 root 权限进行操作。 |
Filter | 设置过滤列表以决定哪些文件可由客户端访问。 |
hosts allow | 指定允许客户连接的 IP 地址。可以为单个 IP 地址或整个网段。多个 IP 或网段需要以空格隔开。默认是允许所有主机连接。 |
dont compress | 指定不进行压缩处理即可传输的文件,默认值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz |
pre-xfer exec, post-xfer exec | 设置可在文件传输前/后执行的命令。若在文件传输前执行的命令失败,则取消本次传输操作。 |
rsync [OPTION] [USER@]HOST:SRC DEST
使用远程 shell(如 ssh, rsh)实现将远程机器的内容拷贝到本地机器。 SRC 地址路径中以单个冒号 ":" 进行分隔。
rsync [OPTION] SRC [USER@]HOST:DEST
使用远程 shell(如 rsh、ssh)实现本地机器的内容拷贝到远程机器。 DEST 地址路径中以单个冒号 ":" 进行分隔。
通过 rsync daemon 方式:
rsync [OPTION] [USER@]HOST::SRC DEST 或
rsync [OPTION] rsync://[USER@]HOST[:PORT]/SRC [DEST]
从远程 rsync 服务器中拷贝文件到本地机。 SRC 地址路径中以双冒号 "::" 进行分隔。
rsync [OPTION] SRC [USER@]HOST::DEST 或
rsync [OPTION] SRC rsync://[USER@]HOST[:PORT]/DEST
从本地机器拷贝文件到远程 rsync 服务器中。 DEST 地址路径中以双冒号 "::" 进行分隔。
如果 rsync 命令中只指定 SRC 参数而不指定 DEST 参数,则意为显示源文件列表而非进行同步拷贝。 rsync 有许多功能选项,常用的选项如下:
表 5. rsync 常用参数[/b]
选项 | 描述 |
-a, --archive | 归档模式,保持所有文件属性,等同于 -rlptgoD |
-v, --verbose | 详细信息输出 |
-r, --recursive | 对子目录进行递归处理 |
-R, --relative | 使用相对路径信息 |
-b, --backup | 创建备份 |
-z, --compress | 对备份的文件在传输时进行压缩处理 |
--delete | 用于同步目录,从 DEST 中将 SRC 不存在的文件进行删除 |
--progress | 显示备份过程 |
# rsync ibmuser@9.186.110.53::www/查看服务端 www 模块中的目录及文件列表(使用 rsyncd 用户认证方式)
# rsync ibmuser@9.186.110.53:/var/www/html/查看服务端 /var/www/html 目录中的内容(使用服务端的系统用户进行验证,如 ibmuser)
保持客户端与服务端的数据同步# rsync -avz ibmuser@9.186.110.53::www/ /backup1/使用后台服务方式将服务端 www 模块下的内容备份到本地 /backup1 目录中,备份时保留原有权限、属性、属主及符号连接等,并使用压缩方式加快数据传输。
# rsync – avz ibmuser@9.186.110.53:/var/www/html /backup2/使用 ssh 方式将远程的 /var/www/html 目录备份到本地 /backup2/ 目录下
# rsync -avz --delete ibmuser@9.186.110.53::www/ /backup3/将远程 www 模块备份到本地 /backup3/ 目录中,同时进行同步目录,删除本地目录中多余的文件。
当服务端的数据出现问题时,需要通过客户端的数据对服务端进行恢复,只要客户端有服务端的写入权限,即可通过调换 rsync 命令的 SRC、DEST 参数进行恢复。回页首结尾与总结综上所述,各种文件传输方式的特征表现各有千秋,我们从以下几个方面综合对比,更深入地了解它们各自的特性。传输性能
wget 通过支持后台执行及断点续传提高文件传输效率 ; rsync 则以其高效的传输及压缩算法达到快传输的目的。配置难度
rcp 只需进行简单的配置,创建 .rhost 文件以及设置 /etc/hosts 文件中主机名与 IP 地址列表; wget 设置设置方便简单,只需在客户端指定参数执行命令即可; rsync 在使用前需要对服务端 /etc/rsyncd.conf 进行参数设定,配置内容相对复杂。安全性能
ftp、rcp 不保证传输的安全性,scp、rsync 则均可基于 ssh 认证进行传输,提供了较强的安全保障。 wget 也可通过指定安全协议做到安全传输。通过上述的对比不难发现,每种文件传输方法基于其自身的特点与优势均有其典型的适用场景:ftp 作为最常用的入门式的文件传输方法,使用简单,易于理解,并且可以实现脚本自动化;
rcp 相对于 ftp 可以保留文件属性并可递归的拷贝子目录;
scp 利用 ssh 传输数据,并使用与 ssh 相同的认证模式,相对于 rcp 提供更强的安全保障;
wget,实现递归下载,可跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构,适合实现远程网站的镜像;
curl 则适合用来进行自动的文件传输或操作序列,是一个很好的模拟用户在网页浏览器上的行为的工具;
rsync 更适用于大数据量的每日同步,拷贝的速度很快,相对 wget 来说速度快且安全高效。
读者可在不同的场合根据实际需要,选择适合的文件传输方法。
参考资料参考:Linux 大全 第三版,[ 美 ] Jack Tackett Jr., David Gunter 著,万华,李建森,何江华译,电子工业出版社出版,1989. – 提供了 Linux 相关的各方面知识。
参考:http://www.gnu.org/software/wget/manual/wget.html- GNU 的官方网站,提供了很多常用命令的用法。
参考:http://rsync.samba.org/ftp/rsync/rsync.html- rsync 命令的详细介绍
参考:Linux Man-page – Linux 的用户手册
在 developerWorks Linux 专区 寻找为 Linux 开发人员(包括 Linux 新手入门)准备的更多参考资料,查阅我们 最受欢迎的文章和教程。
在 developerWorks 上查阅所有 Linux 技巧 和 Linux 教程。
作者简介李梅雯,软件工程师,IBM 中国系统与科技实验室 (CSTL) 从事系统管理软件 IBM Systems Director 在 IBM Power 平台上的相关测试工作。孙敏,软件工程师,IBM 中国系统与科技实验室 (CSTL) 从事系统管理软件 CIM 在 IBM I 平台上的相关测试工作。郭聪宾,软件工程师,IBM 中国系统与科技实验室 (CSTL) 从事系统管理软件 Director 以及 CIM 在 IBM Power 平台上的相关开发工作。
相关文章推荐
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- 转: Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux下常用的文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux下常用的文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux下常用的文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较