搭建高并发服务器--高效I/O复用(epoll)

正如前文所说，epoll是目前linux上一种高效的I/O复用技术。

接下来就浅析一下epoll的事件处理。

epoll有两种工作模式：LT（Level Trigger，电平触发）模式和ET（Edge Trigger，边缘触发）模式。

epoll默认的是LT工作模式，在这种模式下epoll相当于一个高效的poll。在linux内核中维护着一个事件列表，只有被触发的有I/O读写的事件句柄才会被epoll返回。而不像select那样需要把有I/O读写的和没有I/O读写的句柄全部遍历一遍，很蛋疼的事情！

当往epoll内核事件表中注册一个文件描述符的EPOLLET事件时，epoll将以ET模式来操作该文件描述符。即epoll进入高效的工作模式。

ET模式下的读写事件，内核只通知一次，如果没有被处理，内核也将不在通知。但在LT模式下工作，只要有没有处理的读写事件，内核都将不停的通知。

因此在epoll工作在ET模式下，一单epoll_wait检测到有时间发生并且将此事件通知给应用程序，那么应用程序必须立即处理该事件，因为后续的epoll_wait调用将不再向应用程序通知这一事件。由此可见，ET模式在很大程度上降低了同一个epoll事件被触发的次数，因此效率要比LT模式高，但同时也增加了应用程序对ET模式下的读写事件的处理难度。

epoll_wait函数原型：

#include <sys/epoll.h>

int epoll_create(int size);

size参数其实并不起作用，它只是给内核一个提示，告诉它事件表需要多大，该函数的返回值标识着这个内核的epoll资源，所有对epoll的操作都是基于该返回值的。

epoll_ctl函数：

#include <sys/epoll.h>

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

该函数的作用就是把应用程序感兴趣的时间添加（修改或删除）到epoll事件列表中。

fd参数是需要操作的文件描述符，op指定操作类型，具体的操作类型有如下三种：

EPOLL_CTL_ADD：将感兴趣的fd上的事件注册到epoll时间表中

EPOLL_CTL_MOD：修改fd上的注册事件，如把写事件修改为读事件

EPOLL_CTL_DEL：删除fd上的注册事件

event参数指定事件，它是epoll_event结构体的指针类型，其定义如下：

struct epoll_event

{

__uint32_t events; //epoll事件

epoll_data_t data; //用户数据

}

typedef struct epoll_data

{

void* ptr;

int fd;

uint32_t u32;

uint64_t u64;

}

epoll_wait函数：

#include <sys/epoll.h>

int epoll_wait(int epfd, struct epoll_event* events, int maxevents, int timeout);

该函数的返回值为就绪的文件描述符的个数，调用失败返回-1，并设置errno值

epfd参数为epoll系统资源的标识符，是epoll_create函数的返回值

events参数是返回的就绪的文件描述符的列表指针

timeout是超时事件，单位为毫秒。

maxevents参数指定最多监听多少个事件，该值必须大于0

如何用epoll实现一个简单的高并发服务器程序呢？

以获取服务器时间为例，请看下面的代码：

#include <sys/socket.h>
#include <sys/epoll.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <time.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#include <stdio.h>

#define MAX_EVENTS  5000
#define PORT        8888

int set_non_block(int fd)
{
int old_option = fcntl(fd, F_GETFL, 0);
int new_option = old_option | O_NONBLOCK;
fcntl(fd, F_SETFL, new_option);

return old_option;
}

void event_add(int epfd, int fd, int events)
{
struct epoll_event evn;
evn.events = events;
evn.data.fd = fd;
epoll_ctl(epfd, EPOLL_CTL_ADD, fd, &evn);
}

void event_mod(int epfd, int fd, int events)
{
struct epoll_event evn;
evn.events = events;
evn.data.fd = fd;
epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &evn);
}

void event_del(int epfd, int fd)
{
epoll_ctl(epfd, EPOLL_CTL_DEL, fd, 0);
}

int main()
{
int sfd;
int epfd;
int num;
struct epoll_event events[MAX_EVENTS];

sfd = socket(AF_INET, SOCK_STREAM, 0);
if(sfd <= 0)
{
printf("socket() error[%d]:%s", errno, strerror(errno));
return -1;
}

set_non_block(sfd);

struct sockaddr_in saddr;
bzero(&saddr, sizeof(saddr));
saddr.sin_port = htons(PORT);
saddr.sin_family = AF_INET;
saddr.sin_addr.s_addr = INADDR_ANY;

if(bind(sfd, (struct sockaddr*)&saddr, sizeof(saddr)) == -1)
{
printf("server bind port(%d) error[%d]:%s\n", PORT, errno, strerror(errno));
return -1;
}

if(listen(sfd, 1024) == -1)
{
printf("server socket listen error[%d]:%s\n", errno, strerror(errno));
return -1;
}

printf("server listen fd = %d, port: %d\n", sfd, PORT);

epfd = epoll_create(MAX_EVENTS);

event_add(epfd, sfd, EPOLLIN);

int i;

while(1)
{
num = epoll_wait(epfd, events, MAX_EVENTS, 500);
if(num < 0)
{
printf("epoll wait error[%d]:%s\n", errno, strerror(errno));
continue;
}
if (!num)
{
continue;
}

for(i = 0; i < num; i++)
{
int fd = events[i].data.fd;
if (fd ==  sfd)
{
//printf("new connection comes!\n");
struct sockaddr_in addr;
socklen_t len = sizeof(struct sockaddr_in);
int nfd;
//accept;
if((nfd = accept(sfd, (struct sockaddr*)&addr, &len)) == -1)
{
if (errno == EAGAIN)
{
break;
}
else if( errno == EINTR)
{
continue;
}
break;
}
set_non_block(nfd);

event_add(epfd, nfd, EPOLLIN|EPOLLET);
}
else
{
if(events[i].events & EPOLLIN)
{
char buf[512] = {0};

//实际工作中，可能接收的数据由于某种原因不能一次接收完，需要做相应的处理
//由于工作在ET模式，内核不会再次通知，因此需要自己手动处理
int len = recv(fd, buf, sizeof(buf), 0);
if(len < 0)
{
if ((errno == EAGAIN) || (errno == EWOULDBLOCK))
{
printf("read later; %s\n", strerror(errno));
continue;
}
close(fd);
event_del(epfd, fd);
}
else if (len == 0)
{
close(fd);
event_del(epfd, fd);
}
else
{
//printf("recv data: %s\n", buf);
event_mod(epfd, fd, EPOLLOUT|EPOLLET);
}
}
else if(events[i].events & EPOLLOUT)   //write
{
time_t           now;
struct tm       *p;
char             buf[128];
int              fd = events[i].data.fd;

now = time(NULL);
p = localtime(&now);
p->tm_year = p->tm_year + 1900;
p->tm_mon = p->tm_mon + 1;
sprintf(buf, "%04d-%02d-%02d %d:%d:%d", p->tm_year, p->tm_mon, p->tm_mday,  p->tm_hour, p->tm_min, p->tm_sec);

//实际工作中，可能发送的数据由于某种原因不能一次发送完，需要做相应的处理
//由于工作在ET模式，内核不会再次通知，因此需要自己手动处理
send(fd, buf, strlen(buf), 0);
//printf("send buf:%s\n", buf);

event_del(epfd, fd);
close(fd);
}
else if (events[i].events & EPOLLERR ||events[i].events & EPOLLHUP)
{
event_del(epfd, fd);
close(fd);
continue;
}
}

}
}

close(sfd);
close(epfd);

return 0;
}