zero-copy

引言C10K problem提到一种zero-copy的技术，可以提高网络的吞吐量，分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。什么是zero-copyzero-copy在概念上是值操作系统避免了内存之间的来回拷贝开销，从使用角度来看，通常是发送网络文件时，文件加载到内核空间后直接发送到网络，避免了内核空间和用户空间的拷贝开销。linux下的发送文件至网络的传统方式



1.从硬件读取文件到内核缓冲区2.从内核缓冲区拷贝到用户缓冲区3.从用户缓冲区拷贝到socket的缓冲区4.从socket的缓冲区拷贝到网络驱动中发送这中间有两次不必要的开销，2和3的cpu copy开销。linux的sendfile



1.从硬件读取到内核缓冲区2.从内核缓冲区拷贝到socket缓冲区3.从socket缓冲区拷贝到网络驱动发送与传统方式相比，减少了内核和用户态的来回拷贝，但还是有一个多余的操作，内核缓冲区到socket缓冲区的拷贝。改进后的sendfile



1.从硬件直接拷贝到内核缓冲区2.socket缓冲区记录待发送的字节和偏移量3.从内核缓冲区直接拷贝到网卡驱动发送这个版本改进了内核缓冲区和socket缓冲区的拷贝，socket缓冲区只记录了偏移量和字节，减少了一次cpu拷贝。end所谓的零拷贝并不是完全没有拷贝，最后优化的版本还是有两次拷贝，但避免了用户和内核的不必要交互，减少cpu拷贝的直接好处就是提高了cpu的利用率。