欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

EPOLL学习

程序员文章站 2022-06-13 22:47:44
...

一 基本知识

  epoll是在2.6内核中提出的,是之前的select和poll的增强版本。相对于select和poll来说,epoll更加灵活,没有描述符限制。epoll使用一个文件描述符管理多个描述符,将用户关系的文件描述符的事件存放到内核的一个事件表中,这样在用户空间和内核空间的copy只需一次。
  epoll是Linux内核为处理大批量文件描述符而作了改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。另一点原因就是获取事件的时候,它无须遍历整个被侦听的描述符集,只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。epoll除了提供select/poll那种IO事件的水平触发(Level Triggered)外,还提供了边缘触发(Edge Triggered),这就使得用户空间程序有可能缓存IO状态,减少epoll_wait/epoll_pwait的调用,提高应用程序效率。

  优点:
  1 支持一个进程打开大数目的socket描述符
  select 最不能忍受的是一个进程所打开的FD是有一定限制的,由FD_SETSIZE设置,默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译服务器代码,不过资料也同时指出这样会带来网络效率的下降,二是可以选择多进程的解决方案(传统的Apache方案),不过虽然linux上面创建进程的代价比较小,但仍旧是不可忽视的,加上进程间数据同步远比不上线程间同步的高效,所以也不是一种完美的方案。不过 epoll则没有这个限制,它所支持的FD上限是最大可以打开文件的数目,这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右,具体数目可以cat /proc/sys/fs/file-max查看,一般来说这个数目和系统内存关系很大。
  
  使用epoll进行高性能网络编程
  EPOLL学习
2 IO效率不随FD数目增加而线性下降
传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,不过由于网络延时,任一时间只有部分的socket是“活跃”的,但是select/poll每次调用都会线性扫描全部的集合,导致效率呈现线性下降。但是epoll不存在这个问题,它只会对“活跃”的socket进行操作—这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么,只有“活跃”的socket才会主动的去调用 callback函数,其他idle状态socket则不会,在这点上,epoll实现了一个“伪”AIO,因为这时候推动力在os内核。在一些 benchmark中,如果所有的socket基本上都是活跃的—比如一个高速LAN环境,epoll并不比select/poll有什么效率,相反,如果过多使用epoll_ctl,效率相比还有稍微的下降。但是一旦使用idle connections模拟WAN环境,epoll的效率就远在select/poll之上了。

3 使用mmap加速内核与用户空间的消息传递
这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存拷贝就很重要,在这点上,epoll是通过内核与用户空间mmap同一块内存实现的。而如果你像我一样从2.5内核就关注epoll的话,一定不会忘记手工 mmap这一步的。

二 epoll接口

  epoll操作过程需要三个接口,分别如下:

#include <sys/epoll.h>
int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

(1) int epoll_create(int size);
  创建一个epoll的句柄,size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数,给出最大监听的fd+1的值。需要注意的是,当创建好epoll句柄后,它就是会占用一个fd值,在linux下如果查看/proc/进程id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。

(2)int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
  epoll的事件注册函数,它不同与select()是在监听事件时告诉内核要监听什么类型的事件epoll的事件注册函数,它不同与select()是在监听事件时告诉内核要监听什么类型的事件,而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值,第二个参数表示动作,用三个宏来表示:
EPOLL_CTL_ADD:注册新的fd到epfd中;
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除一个fd;
第三个参数是需要监听的fd,第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:

struct epoll_event {
  __uint32_t events;  /* Epoll events */
  epoll_data_t data;  /* User data variable */
};

events可以是以下几个宏的集合:
EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);
EPOLLOUT:表示对应的文件描述符可以写;
EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);
EPOLLERR:表示对应的文件描述符发生错误;
EPOLLHUP:表示对应的文件描述符被挂断;
EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里

(3) int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
  等待事件的产生,类似于select()调用。参数events用来从内核得到事件的集合,maxevents告之内核这个events有多大,这个maxevents的值不能大于创建epoll_create()时的size,参数timeout是超时时间(毫秒,0会立即返回,-1将不确定,也有说法说是永久阻塞)。该函数返回需要处理的事件数目,如返回0表示已超时。

三 工作模式

  epoll对文件描述符的操作有两种模式:LT(level trigger)和ET(edge trigger)。LT模式是默认模式,LT模式与ET模式的区别如下:

  LT模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序可以不立即处理该事件。下次调用epoll_wait时,会再次响应应用程序并通知此事件。

  ET模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序必须立即处理该事件。如果不处理,下次调用epoll_wait时,不会再次响应应用程序并通知此事件。

  ET模式在很大程度上减少了epoll事件被重复触发的次数,因此效率要比LT模式高。epoll工作在ET模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。
  
  令人高兴的是,2.6内核的epoll比其2.5开发版本的/dev/epoll简洁了许多,所以,大部分情况下,强大的东西往往是简单的。唯一有点麻烦是epoll有2种工作方式:LT和ET。
  
LT(level triggered)是缺省的工作方式,并且同时支持block和no-block socket.在这种做法中,内核告诉你一个文件描述符是否就绪了,然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作,内核还是会继续通知你的,所以,这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表。

ET (edge-triggered)是高速工作方式,只支持non-block socket。在这种模式下,当描述符从未就绪变为就绪时,内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪,并且不会再为那个文件描述符发送更多的就绪通知,直到你做了某些操作导致那个文件描述符不再为就绪状态了(比如,你在发送,接收或者接收请求,或者发送接收的数据少于一定量时导致了一个EWOULDBLOCK 错误)。但是请注意,如果一直不对这个fd作IO操作(从而导致它再次变成未就绪),内核不会发送更多的通知(only once),不过在TCP协议中,ET模式的加速效用仍需要更多的benchmark确认。

ET和LT的区别就在这里体现,LT事件不会丢弃,而是只要读buffer里面有数据可以让用户读,则不断的通知你。而ET则只在事件发生之时通知。可以简单理解为LT是水平触发,而ET则为边缘触发。LT模式只要有事件未处理就会触发,而ET则只在高低电平变换时(即状态从1到0或者0到1)触发。

四 代码示例

(1)服务器代码:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <netinet/in.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <unistd.h>
#include <sys/types.h>

#define IPADDRESS   "127.0.0.1"
#define PORT        8787
#define MAXSIZE     1024
#define LISTENQ     5
#define FDSIZE      1000
#define EPOLLEVENTS 100

//函数声明
//创建套接字并进行绑定
static int socket_bind(const char* ip, int port);
//IO多路复用epoll
static void do_epoll(int listenfd);
//事件处理函数
static void handle_events(int epollfd, struct epoll_event *events, int num, int listenfd, char *buf);
//处理接收到的连接
static void handle_accept(int epollfd, int listenfd);
//读处理
static void do_read(int epollfd, int fd, char *buf);
//写处理
static void do_write(int epollfd, int fd, char *buf);
//添加时间
static void add_event(int epollfd, int fd, int state);
//修改事件
static void modify_event(int epollfd, int fd, int state);
//删除事件
static void delete_event(int epollfd, int fd, int state);

int main(int argc, char *argv[])
{
    int listenfd;
    listenfd = socket_bind(IPADDRESS, PORT);
    if(-1 == listen(listenfd, LISTENQ)){
        perror("socket listen error: ");
        exit(1);
    }
    do_epoll(listenfd);
    return 0;
}

//创建套接字并进行绑定
static int socket_bind(const char* ip, int port)
{
    int listenfd; 
    struct sockaddr_in servaddr;
    listenfd = socket(AF_INET, SOCK_STREAM, 0);
    if(-1 == listenfd) {
        perror("Create Socket Error:");
        exit(1);
    }

    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &servaddr.sin_addr);
    servaddr.sin_port = htons(port);
    if (bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) == -1){
        perror("Bind Error: ");
        exit(1);
    }

    return listenfd;
}

//IO多路复用epoll
static void do_epoll(int listenfd)
{
    int epollfd;
    struct epoll_event events[EPOLLEVENTS];
    int ret;
    char buf[MAXSIZE];
    memset(buf, 0, MAXSIZE);

    //创建一个描述符
    epollfd = epoll_create(FDSIZE);
    //添加监听描述符事件
    add_event(epollfd, listenfd, EPOLLIN);
    for( ; ; ){
        //获取已经准备好的描述符事件
        printf("Begin to Epoll_wait\n");
        ret = epoll_wait(epollfd, events, EPOLLEVENTS, -1);
        printf("Epoll_wait ret=%d\n", ret);
        handle_events(epollfd, events, ret, listenfd, buf);
    }
    close(epollfd)
}
//事件处理函数
static void handle_events(int epollfd, struct epoll_event *events, int num, int listenfd, char *buf)
{
    int i;
    int fd;
    //进行选好遍历
    for(i=0; i<num; i++){
        fd = events[i].data.fd;
        //根据描述符的类型和事件类型进行处理
        if((fd == listenfd) && (events[i].events & EPOLLIN)){
            handle_accept(epollfd, listenfd);
        }else if(events[i].events & EPOLLIN){
            do_read(epollfd, fd, buf);
        }else if(events[i].events & EPOLLOUT){
            do_write(epollfd, fd, buf);
        }
    }
}
//处理接收到的连接
static void handle_accept(int epollfd, int listenfd)
{
    int clifd;
    struct sockaddr_in cliaddr;
    socklen_t cliaddrlen;
    clifd = accept(listenfd, (struct sockaddr*)&cliaddr, &cliaddrlen);
    if (-1 == clifd){
        perror("Accept Error: ");
        exit(1);
    }else {
        printf("Accept a new client:%s:%d\n", 
            inet_ntoa(cliaddr.sin_addr), cliaddr.sin_port);
        //添加一个客户描述符和事件
        add_event(epollfd, clifd, EPOLLIN);
    }
}
//读处理
static void do_read(int epollfd, int fd, char *buf)
{
    int nread = 0;
    nread = read(fd, buf, MAXSIZE);
    if (-1 == nread){
        perror("Read Error: ");
        close(fd);
    }else if(0 == nread){
        fprintf(stderr, "Client close\n");
        close(fd);
        delete_event(epollfd, fd, EPOLLIN);
    }else{
        printf("Read Message is : %s\n", buf);
        //修改描述符对应的事件,由读改成写
        modify_event(epollfd, fd, EPOLLOUT);
    }
}

//写处理
static void do_write(int epollfd, int fd, char *buf)
{
    int nwrite = 0;
    nwrite = write(fd, buf, strlen(buf));
    if(-1 == nwrite){
        perror("Writer Error: ");
        close(fd);
        delete_event(epollfd, fd, EPOLLOUT);
    }else{
        printf("write [%s] ok\n", buf);
        modify_event(epollfd, fd,   EPOLLIN);
    }

    memset(buf, 0, sizeof(buf));

}
//添加事件
static void add_event(int epollfd, int fd, int state)
{
    printf("Begin to add_event\n");
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    int ret = epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &ev);
    if(-1 == ret){
        perror("add_event error: ");
    }else{
        printf("Add_event OK\n");
    }
}
//修改事件
static void modify_event(int epollfd, int fd, int state)
{
    printf("Begin to modify_event\n");
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    int ret = epoll_ctl(epollfd, EPOLL_CTL_MOD, fd, &ev);
    if(-1 == ret){
        perror("modify_event error: ");
    }else{
        printf("modify_event OK\n");
    }
}
//删除事件
static void delete_event(int epollfd, int fd, int state)
{
    printf("Begin to delete_event\n");
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    int ret = epoll_ctl(epollfd, EPOLL_CTL_DEL, fd, &ev);
    if(-1 == ret){
        perror("delete_event error: ");
    }else{
        printf("delete_event OK\n");
    }
}

(2)客户端代码:

//客户端也用Epoll实现,控制STDIN_FILENO,STDOUT_FILENO和sockfd三个描述符,程序如下所示:
#include <netinet/in.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <netinet/in.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <unistd.h>
#include <sys/types.h>
#include <time.h>

#define IPADDRESS   "127.0.0.1"
#define SERV_PORT   8787
#define MAXSIZE     1024
#define FDSIZE      1024
#define EPOLLEVENTS 20

//处理链接服务端
static void handle_connection(int sockfd);
//事件处理函数
static void handle_events(int epollfd, struct epoll_event *events, int num, int sockfd, char *buf);
//读处理
static void do_read(int epollfd, int fd, int sockfd, char *buf);
//写处理
static void do_write(int epollfd, int fd, int sockfd, char *buf);
//添加时间
static void add_event(int epollfd, int fd, int state);
//修改事件
static void modify_event(int epollfd, int fd, int state);
//删除事件
static void delete_event(int epollfd, int fd, int state);



int main(int argc, char* argv[])
{
    int sockfd = 0;
    struct sockaddr_in servaddr;
    sockfd = socket(AF_INET, SOCK_STREAM, 0);
    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(SERV_PORT);
    inet_pton(AF_INET, IPADDRESS, &servaddr.sin_addr);
    int ret = connect(sockfd, (struct sockaddr*)&servaddr, sizeof(servaddr));
    if(-1 == ret){
        perror("connect server error: ");
        exit(1);
    }
    //处理链接
    handle_connection(sockfd);
    close(sockfd);
    return 0;
}

//处理链接服务端
static void handle_connection(int sockfd)
{
    int epollfd;
    struct epoll_event events[EPOLLEVENTS];
    char buf[MAXSIZE];
    int ret = 0;
    epollfd = epoll_create(FDSIZE);
    if(-1 == epollfd){
        perror("epoll create error:");
        exit(1);
    }
    add_event(epollfd, STDIN_FILENO, EPOLLIN);
    for( ; ; ){
        printf("begin epoll_wait\n");
        ret = epoll_wait(epollfd, events, EPOLLEVENTS, -1);
        handle_events(epollfd, events, ret, sockfd, buf);
    }
    close(epollfd);
}

//事件处理函数
static void handle_events(int epollfd, struct epoll_event *events, int num, int sockfd, char *buf)
{
    int fd = 0;
    int i = 0;
    for(i=0; i<num; i++){
        fd = events[i].data.fd;
        if(events[i].events & EPOLLIN){
            do_read(epollfd, fd, sockfd, buf);
        }else if(events[i].events & EPOLLOUT){
            do_write(epollfd, fd, sockfd, buf);
        }
    }
}

//读处理
static void do_read(int epollfd, int fd, int sockfd, char *buf)
{
    int nread = 0;
    nread = read(fd, buf, MAXSIZE);
    if(-1 == nread){
        perror("read error: ");
        close(fd);
    }else if(0 == nread){
        fprintf(stderr, "server close.\n");
        close(fd);
    }else {
        if(fd == STDIN_FILENO){
            add_event(epollfd, sockfd, EPOLLOUT);
        }else{
            delete_event(epollfd, sockfd, EPOLLIN);
            add_event(epollfd, STDOUT_FILENO, EPOLLOUT);
        }
    }
}

//写处理
static void do_write(int epollfd, int fd, int sockfd, char *buf)
{
    int nwrite = 0;
    nwrite = write(fd, buf, strlen(buf));
    if(-1 == nwrite){
        perror("write error:");
        close(fd);
    }else{
        if(fd == STDOUT_FILENO){
            delete_event(epollfd, fd, EPOLLOUT);
        }else{
            modify_event(epollfd, fd, EPOLLIN);
        }
    }
    memset(buf, 0, MAXSIZE);
}


//添加时间
static void add_event(int epollfd, int fd, int state)
{
    printf("Begin to add_event.\n");
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    if(-1 == epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &ev)){
        perror("add event error: ");
        return ;
    }
    printf("add event ok\n");
    return ;
}
//修改事件
static void modify_event(int epollfd, int fd, int state)
{
    printf("Begin to modify event.\n");
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    if(-1 == epoll_ctl(epollfd, EPOLL_CTL_MOD, fd, &ev)){
        perror("modify event error: ");
        return ;
    }
    printf("modify event ok\n");
    return ;
}
//删除事件
static void delete_event(int epollfd, int fd, int state)
{
    printf("Begin to delete event.\n");
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    if(-1 == epoll_ctl(epollfd, EPOLL_CTL_DEL, fd, &ev)){
        perror("delete event error: ");
        return ;
    }
    printf("delete event ok\n");
    return ;
}

参考资料:
IO多路复用之epoll总结
epoll百度百科
select、poll、epoll之间的区别总结[整理]

相关标签: epoll linux