使用splice实现零拷贝复制文件
2013-06-05 20:59
453 查看
splice是linux2.6内核中新增的零拷贝数据发送函数,主要用于将数据发送到管道 或 从管道中接收数据。于splice类似的零拷贝发送函数还有sendfile,不同的是sendfile是将数据通过socket发到对端。所谓零拷贝是指(与传统的read/write模式相比),在数据发送的过程中,不需要在用户态为数据申请buffer,也就是不会产生用户态、内核态之间的数据拷贝(moves data between two file descriptors without copying
between kernel address space and user addressspace)。比如,使用经典的read/write方式复制文件的流程为:
1. buf = malloc(len) \\首先申请一块长度为len的内存
2. read(fd1, buf, len) \\将第一个文件fd1中len长度的数据读入buf
3. write(fd2, buf, len) \\将buf中的数据写入文件fd2中
在非direct io的场景下,会导致文件的数据会在内核态的page cache与用户态的buf之间发生两次拷贝(读过程中一次,写过程中一次)
splice系统调用的参数为:
ssize_t splice(int fd_in, loff_t *off_in, int fd_out,
loff_t *off_out, size_t len, unsigned int flags);
int fd_in:要读入数据的文件描述符
loff_t *off_in:要读入数据的起始偏移
int fd_out:要写入数据的文件描述符
loff_t *off_out:要写入数据的起始偏移
size_t len:要写入数据的长度
unsigned int flags:标志位
要特别强调的一点算,在splice系统调用的应用中,fd_in和fd_out中必须有一个是管道的描述符
使用splice拷贝文件的流程为:
1. 调用mkfifo或者pipe创建一个管道
2. splice(file_fd1, &off_in_1, pipe_fd_w, &off_out_w, len, 0) \\将文件fd1中的数据移动到管道的写端
3. splice(pipe_fd_r, &off_in_r, file_fd2, &off_out_2, len, 0) \\通过管道的读端,将数据移动到文件2
但在2.6.32内核实测发现,使用splice方式拷贝文件的性能并没有比read/write方式高,说明在这个方面还有改进的余地
between kernel address space and user addressspace)。比如,使用经典的read/write方式复制文件的流程为:
1. buf = malloc(len) \\首先申请一块长度为len的内存
2. read(fd1, buf, len) \\将第一个文件fd1中len长度的数据读入buf
3. write(fd2, buf, len) \\将buf中的数据写入文件fd2中
在非direct io的场景下,会导致文件的数据会在内核态的page cache与用户态的buf之间发生两次拷贝(读过程中一次,写过程中一次)
splice系统调用的参数为:
ssize_t splice(int fd_in, loff_t *off_in, int fd_out,
loff_t *off_out, size_t len, unsigned int flags);
int fd_in:要读入数据的文件描述符
loff_t *off_in:要读入数据的起始偏移
int fd_out:要写入数据的文件描述符
loff_t *off_out:要写入数据的起始偏移
size_t len:要写入数据的长度
unsigned int flags:标志位
要特别强调的一点算,在splice系统调用的应用中,fd_in和fd_out中必须有一个是管道的描述符
使用splice拷贝文件的流程为:
1. 调用mkfifo或者pipe创建一个管道
2. splice(file_fd1, &off_in_1, pipe_fd_w, &off_out_w, len, 0) \\将文件fd1中的数据移动到管道的写端
3. splice(pipe_fd_r, &off_in_r, file_fd2, &off_out_2, len, 0) \\通过管道的读端,将数据移动到文件2
但在2.6.32内核实测发现,使用splice方式拷贝文件的性能并没有比read/write方式高,说明在这个方面还有改进的余地
相关文章推荐
- 使用splice实现零拷贝复制文件
- 使用JAVA实现比较两个文件夹下的文件新增和修改情况,并复制到新的目录(实现增量更新项目)
- 使用I/O流实现文件的复制
- 使用IO技术,创建一个目录,然后复制一个文件到该目录!实现复制的功能。(在博客园上传的第一份代码)
- 2010-07-21 使用系统调用实现文件复制
- 使用FileChannel实现文件复制
- 使用java输入输出流实现文件的复制:
- java实现在复制文件时使用进度条(java实现进度条)
- 使用缓冲流实现文件的复制
- 【Java】使用Java实现文件复制
- 学习之使用Java IO 来实现复制文件的操作
- 使用Java语言如何实现快速文件复制?
- 使用java递归实现文件及文件夹的复制
- 复制文件的问题:使用FileInputStream和FileOutputStream实现文件复制
- 使用shell脚本实现USB设备的加载与文件复制
- 07.使用FileStream类来实现对大文件的复制
- 使用多线程实现文件复制
- IO —— 使用打印流实现文件的复制
- 服务器编程——函数splice实现零拷贝使用解释
- 使用Remote Desktop organizer远程桌面管理工具连接服务器不能实现真机与被远程主机之间的文件拖拉复制