(网络编程笔记):高并发服务器模型 - epoll
程序员文章站
2022-06-13 22:47:08
...
目录
多路IO-epoll
- 将检测文件描述符的变化委托给内核去处理,然后内核将发生变化的文件描述符对应的事件返回给应用程序。
函数介绍
int epoll_create(int size);
- 函数说明: 创建一颗epoll树,返回一个根节点。
- 参数说明:
- size: 最大节点数,此参数在linux 2.6.8已被忽略, 但必须传递一个大于0的数。
- 返回值:
- 成功: 返回一个大于0的文件描述符,代表整个树的树根.
- 失败: 返回-1,并设置errno值.
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
- 函数说明: 将要监听的节点在epoll树上添加, 删除和修改
- 参数说明:
- epfd: epoll树根
- op:
- EPOLL_CTL_ADD: 添加事件节点到树上
- EPOLL_CTL_DEL: 从树上删除事件节点
- EPOLL_CTL_MOD: 修改树上对应的事件节点
- fd: 事件节点对应的文件描述符
- event: 要操作的事件节点
typedef union epoll_data { void *ptr; int fd; uint32_t u32; uint64_t u64; } epoll_data_t; struct epoll_event { uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */ };
- event.events常用的有:
- EPOLLIN: 读事件
- EPOLLOUT: 写事件
- EPOLLERR: 错误事件
- EPOLLET: 边缘触发模式
- event.fd: 要监控的事件对应的文件描述符
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
- 函数说明:委托内核监控epoll树的事件节点,等待内核返回事件发生
- 参数说明:
- epfd: epoll树根
- events: 传出参数, 其实是一个事件结构体数组
- maxevents: events数组大小
- timeout:
- -1: 表示永久阻塞
- 0: 立即返回
- >0: 表示超时等待事件
- 返回值:
- 成功: 返回发生事件的个数
- 失败: 若timeout=0, 没有事件发生则返回; 返回-1, 设置errno值,
- epoll_wait的events是一个传出参数,调用epoll_ctl传递给内核什么值,当epoll_wait返回的时候,内核就传回什么值,不会对struct event的结构体变量的值做任何修改。
使用epoll模型开发服务端流程
{ 1 创建socket, 得到监听文件描述符lfd----socket() 2 设置端口复用----setsockopt() 3 绑定----bind() 4 监听----listen() 5 创建一棵epoll树 int epfd = epoll_create(); //将监听文件描述符上树 struct epoll_event ev; ev.evetns = EPOLLIN; //可读事件 ev.data.fd = lfd; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &ev); struct epoll_event events[1024]; while(1) { nready = epoll_wait(epfd, events, 1024, -1); if(nready<0) { if(errno==EINTR)//被信号中断 { continue; } break; } for(i=0; i<nready; i++) { sockfd = events[i].data.fd; //有客户端连接请求到来 if(sockfd==lfd) { cfd = accept(lfd, NULL, NULL); //将cfd对应的读事件上epoll树 ev.data.fd = cfd; ev.events = EPOLLIN; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev); continue; } //有客户端发送数据过来 n = Read(sockfd, buf, sizeof(buf)); if(n<=0) { close(sockfd); //将sockfd对应的事件节点从epoll树上删除 epoll_ctl(epfd, EPOLL_CTL_DEL, sockfd, NULL); perror("read error or client closed"); continue; } else { write(sockfd, buf, n); } } } close(epfd); close(lfd); return 0; }
代码示例
//EPOLL模型测试 #include "wrap.h" #include <sys/epoll.h> #include <ctype.h> int main() { int ret; int n; int i; int k; int nready; int lfd; int cfd; int sockfd; char buf[1024]; socklen_t socklen; struct sockaddr_in svraddr; struct epoll_event ev; struct epoll_event events[1024]; //创建socket lfd = Socket(AF_INET, SOCK_STREAM, 0); //设置文件描述符为端口复用 int opt = 1; setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(int)); //绑定bind svraddr.sin_family = AF_INET; svraddr.sin_addr.s_addr = htonl(INADDR_ANY); svraddr.sin_port = htons(8888); Bind(lfd, (struct sockaddr *)&svraddr, sizeof(struct sockaddr_in)); //监听listen Listen(lfd, 128); //创建一棵epoll树 int epfd = epoll_create(1024); if(epfd<0) { perror("create epoll error"); return -1; } //将lfd上epoll树 ev.data.fd = lfd; ev.events = EPOLLIN; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &ev); while(1) { nready = epoll_wait(epfd, events, 1024, -1); if(nready<0) { perror("epoll_wait error"); if(errno==EINTR) { continue; } break; } for(i=0; i<nready; i++) { //有客户端连接请求 sockfd = events[i].data.fd; if(sockfd==lfd) { cfd = Accept(lfd, NULL, NULL); //将新的cfd上epoll树 ev.data.fd = cfd; ev.events = EPOLLIN; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev); continue; } //有客户端发送数据过来 memset(buf, 0x00, sizeof(buf)); //n = Read(sockfd, buf, sizeof(buf)); n = recv(sockfd, buf, sizeof(buf), 0); if(n<=0) { printf("n==[%d], buf==[%s]\n", n, buf); close(sockfd); //将sockfd对应的事件就节点从epoll树上删除 epoll_ctl(epfd, EPOLL_CTL_DEL, sockfd, NULL); } else { printf("n==[%d], buf==[%s]\n", n, buf); for(k=0; k<n; k++) { buf[k] = toupper(buf[k]); } //Write(sockfd, buf, n); send(sockfd, buf, n, 0); } } } close(epfd); close(lfd); return 0; }
epoll的两种工作模式
- epoll的LT和ET模式
- epoll默认情况下是LT模式, 在这种模式下, 若读数据一次性没有读完,缓冲区中还有可读数据, 则epoll_wait还会再次通知
- 若将epoll设置为ET模式, 若读数据的时候一次性没有读完, 则epoll_wait不再通知,直到下次有新的数据发来.
验证LT和ET模式
- ET模式由于只通知一次,所以在读的时候要循环读,直到读完,但是当读完之后read就会阻塞,所以应该将该文件描述符设置为非阻塞模式(fcntl函数)。
- read函数在非阻塞模式下读的时候, 若返回-1,且errno为EAGAIN,则表示当前资源不可用,也就是说缓冲区无数据(缓冲区的数据已经读完了)
- 或者当read返回的读到的数据长度小于请求的数据长度时,就可以确定此时缓冲区中已没有数据可读了,也就可以认为此时读事件已处理完成。
- 注:
- 在ET模式下, 如何在epoll_wait返回一次的情况下读完数据?
- 循环读数据, 直到读完数据, 但是读完数据之后会阻塞.
- 若能够一次性读完还需要设置什么?
- 将通信文件描述符设置为非阻塞模式
案例代码片段:
while(1) { nready = epoll_wait(epfd, events, 1024, -1); if(nready<0) { perror("epoll_wait error"); if(errno==EINTR) { continue; } break; } for(i=0; i<nready; i++) { //有客户端连接请求 sockfd = events[i].data.fd; if(sockfd==lfd) { cfd = Accept(lfd, NULL, NULL); //将新的cfd上epoll树 ev.data.fd = cfd; ev.events = EPOLLIN | EPOLLET; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev); //将cfd设置为非阻塞 int flag = fcntl(cfd, F_GETFL); flag |= O_NONBLOCK; fcntl(cfd, F_SETFL, flag); continue; } //有客户端发送数据过来 memset(buf, 0x00, sizeof(buf)); while(1) { n = Read(sockfd, buf, 2); printf("n==[%d]\n", n); //读完数据的情况 if(n==-1) { printf("read over, n==[%d]\n", n); break; } //对方关闭连接或者读异常 if(n==0 || (n<0&&n!=-1)) { printf("n==[%d], buf==[%s]\n", n, buf); close(sockfd); //将sockfd对应的事件就节点从epoll树上删除 epoll_ctl(epfd, EPOLL_CTL_DEL, sockfd, NULL) break; } else //正常读到数据的情况 { printf("n==[%d], buf==[%s]\n", n, buf); for(k=0; k<n; k++) { buf[k] = toupper(buf[k]); } Write(sockfd, buf, n); } } } }
epoll反应堆
- epoll反应堆的核心思想是: 在调用epoll_ctl函数的时候,将events上树的时候,利用epoll_data_t的ptr成员, 将一个文件描述符,事件和回调函数封装成一个结构体,然后让ptr指向这个结构体,然后调用epoll_wait函数返回的时候,可以得到具体的events,然后获得events结构体中的events.data.ptr指针, ptr指针指向的结构体中有回调函数, 最终可以调用这个回调函数。
- epoll_wait返回的时候,返回有变化的事件节点,节点中保存的事件信息就是调用epoll_ctl函数上树的事件信息,由此可以获得ptr指向的结构体信息,也就能够获取对应的文件描述符事件和回调函数,最终调用回调函数处理该事件,而回调函数是由用户自己编写的。
- ptr实际指向的是一个结构体,这个结构体中至少包含文件描述符,事件和回调函数。
epoll反应堆流程分析1
- 代码
//反应堆简单版 #include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <fcntl.h> #include <string.h> #include <sys/types.h> #include <sys/stat.h> #include <sys/socket.h> #include <arpa/inet.h> #include <sys/epoll.h> #include "wrap.h" #define _BUF_LEN_ 1024 #define _EVENT_SIZE_ 1024 //全局epoll树的根 int gepfd = 0; //事件驱动结构体 typedef struct xx_event{ int fd; int events; void (*call_back)(int fd,int events,void *arg); void *arg; char buf[1024]; int buflen; int epfd; }xevent; xevent myevents[_EVENT_SIZE_+1]; void readData(int fd,int events,void *arg); //添加事件 //eventadd(lfd,EPOLLIN,initAccept,&myevents[_EVENT_SIZE_-1],&myevents[_EVENT_SIZE_-1]); void eventadd(int fd,int events,void (*call_back)(int ,int ,void *),void *arg,xevent *ev) { ev->fd = fd; ev->events = events; //ev->arg = arg;//代表结构体自己,可以通过arg得到结构体的所有信息 ev->call_back = call_back; struct epoll_event epv; epv.events = events; epv.data.ptr = ev;//核心思想 epoll_ctl(gepfd,EPOLL_CTL_ADD,fd,&epv);//上树 } //修改事件 //eventset(fd,EPOLLOUT,senddata,arg,ev); void eventset(int fd,int events,void (*call_back)(int ,int ,void *),void *arg,xevent *ev) { ev->fd = fd; ev->events = events; //ev->arg = arg; ev->call_back = call_back; struct epoll_event epv; epv.events = events; epv.data.ptr = ev; epoll_ctl(gepfd,EPOLL_CTL_MOD,fd,&epv);//修改 } //删除事件 void eventdel(xevent *ev,int fd,int events) { printf("begin call %s\n",__FUNCTION__); ev->fd = 0; ev->events = 0; ev->call_back = NULL; memset(ev->buf,0x00,sizeof(ev->buf)); ev->buflen = 0; struct epoll_event epv; epv.data.ptr = NULL; epv.events = events; epoll_ctl(gepfd,EPOLL_CTL_DEL,fd,&epv);//下树 } //发送数据 void senddata(int fd,int events,void *arg) { printf("begin call %s\n",__FUNCTION__); xevent *ev = arg; Write(fd,ev->buf,ev->buflen); eventset(fd,EPOLLIN,readData,arg,ev); } //读数据 void readData(int fd,int events,void *arg) { printf("begin call %s\n",__FUNCTION__); xevent *ev = arg; ev->buflen = Read(fd,ev->buf,sizeof(ev->buf)); if(ev->buflen>0) //读到数据 { //void eventset(int fd,int events,void (*call_back)(int ,int ,void *),void *arg,xevent *ev) eventset(fd,EPOLLOUT,senddata,arg,ev); } else if(ev->buflen==0) //对方关闭连接 { Close(fd); eventdel(ev,fd,EPOLLIN); } } //新连接处理 void initAccept(int fd,int events,void *arg) { printf("begin call %s,gepfd =%d\n",__FUNCTION__,gepfd);//__FUNCTION__ 函数名 int i; struct sockaddr_in addr; socklen_t len = sizeof(addr); int cfd = Accept(fd,(struct sockaddr*)&addr,&len);//是否会阻塞? //查找myevents数组中可用的位置 for(i = 0 ; i < _EVENT_SIZE_; i ++) { if(myevents[i].fd==0) { break; } } //设置读事件 eventadd(cfd,EPOLLIN,readData,&myevents[i],&myevents[i]); } int main(int argc,char *argv[]) { //创建socket int lfd = Socket(AF_INET,SOCK_STREAM,0); //端口复用 int opt = 1; setsockopt(lfd,SOL_SOCKET,SO_REUSEADDR,&opt,sizeof(opt)); //绑定 struct sockaddr_in servaddr; servaddr.sin_family = AF_INET; servaddr.sin_port = htons(8888); servaddr.sin_addr.s_addr = htonl(INADDR_ANY); Bind(lfd,(struct sockaddr*)&servaddr,sizeof(servaddr)); //监听 Listen(lfd,128); //创建epoll树根节点 gepfd = epoll_create(1024); printf("gepfd === %d\n",gepfd); struct epoll_event events[1024]; //添加最初始事件,将侦听的描述符上树 eventadd(lfd,EPOLLIN,initAccept,&myevents[_EVENT_SIZE_],&myevents[_EVENT_SIZE_]); //void eventadd(int fd,int events,void (*call_back)(int ,int ,void *),void *arg,xevent *ev) while(1) { int nready = epoll_wait(gepfd,events,1024,-1); if(nready<0) //调用epoll_wait失败 { perr_exit("epoll_wait error"); } else if(nready>0) //调用epoll_wait成功,返回有事件发生的文件描述符的个数 { int i = 0; for(i=0;i<nready; i++) { xevent *xe = events[i].data.ptr;//取ptr指向结构体地址 printf("fd=%d\n",xe->fd); if(xe->events & events[i].events) { xe->call_back(xe->fd,xe->events,xe);//调用事件对应的回调 } } } } //关闭监听文件描述符 Close(lfd); return 0; }
epoll反应堆流程分析2
- 代码
// epoll基于非阻塞I/O事件驱动 #include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/types.h> #include <unistd.h> #include <arpa/inet.h> #include <netinet/in.h> #include <sys/epoll.h> #include <fcntl.h> #include <errno.h> #include <time.h> #include <ctype.h> #include "wrap.h" #define MAX_EVENTS 1024 //监听上限数 #define BUFLEN 4096 void recvdata(int fd, int events, void *arg); void senddata(int fd, int events, void *arg); /* 描述就绪文件描述符相关信息 */ struct myevent_s { int fd; //要监听的文件描述符 int events; //对应的监听事件 void *arg; //泛型参数 void (*call_back)(int fd, int events, void *arg); //回调函数 int status; //是否在监听:1->在红黑树上(监听), 0->不在(不监听) char buf[BUFLEN]; int len; long last_active; //记录每次加入红黑树 g_efd 的时间值 }; int g_efd; //全局变量, 保存epoll_create返回的文件描述符 int g_lfd; //全局变量, 保存监听的文件描述符 struct myevent_s g_events[MAX_EVENTS+1]; //自定义结构体类型数组. +1-->listen fd /*将结构体 myevent_s 成员变量 初始化*/ void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg) { ev->fd = fd; ev->call_back = call_back; ev->events = 0; ev->arg = arg; ev->status = 0; //memset(ev->buf, 0, sizeof(ev->buf)); //ev->len = 0; ev->last_active = time(NULL); //调用eventset函数的时间 unix时间戳 return; } /* 向 epoll监听的红黑树 添加一个 文件描述符 */ void eventadd(int efd, int events, struct myevent_s *ev) { struct epoll_event epv = {0, {0}}; int op; epv.data.ptr = ev; epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT if(ev->status == 1) { //已经在红黑树 g_efd 里 op = EPOLL_CTL_MOD; //修改其属性 } else { //不在红黑树里 op = EPOLL_CTL_ADD; //将其加入红黑树 g_efd, 并将status置1 ev->status = 1; } if (epoll_ctl(efd, op, ev->fd, &epv) < 0) //实际添加/修改 { printf("event add failed [fd=%d], events[%d]\n", ev->fd, events); } else { printf("event add OK [fd=%d], op=%d, events[%0X]\n", ev->fd, op, events); } return ; } /* 从epoll 监听的 红黑树中删除一个 文件描述符*/ void eventdel(int efd, struct myevent_s *ev) { struct epoll_event epv = {0, {0}}; if (ev->status != 1) //不在红黑树上 return ; epv.data.ptr = ev; ev->status = 0; //修改状态 epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv); //从红黑树 efd 上将 ev->fd 摘除 return ; } /* 当有文件描述符就绪, epoll返回, 调用该函数 与客户端建立链接 */ // 回调函数 - 监听的文件描述符发送读事件时被调用 void acceptconn(int lfd, int events, void *arg) { struct sockaddr_in cin; socklen_t len = sizeof(cin); int cfd, i; cfd = Accept(lfd, (struct sockaddr *)&cin, &len); //使用do while(0)的目的是为了避免使用goto语句 do { for (i = 0; i < MAX_EVENTS; i++) //从全局数组g_events中找一个空闲元素 { if (g_events[i].status == 0) //类似于select中找值为-1的元素 { break; //找到第一个能用的 //跳出 for } } if (i == MAX_EVENTS) { printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS); break; //避免goto, 跳出do while(0) 不执行后续代码 } //将cfd设置为非阻塞 int flags = 0; flags = fcntl(cfd, F_GETFL, 0); flags |= O_NONBLOCK; if ((flags = fcntl(cfd, F_SETFL, flags)) < 0) { printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno)); break;//避免goto } /* 给cfd设置一个 myevent_s 结构体, 回调函数 设置为 recvdata */ eventset(&g_events[i], cfd, recvdata, &g_events[i]); //将cfd添加到红黑树g_efd中,监听读事件 eventadd(g_efd, EPOLLIN, &g_events[i]); }while(0); printf("new connect [%s:%d][time:%ld], pos[%d]\n", inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i); return ; } // 回调函数 - 通信的文件描述符发生读事件时候被调用 void recvdata(int fd, int events, void *arg) { int len; struct myevent_s *ev = (struct myevent_s *)arg; //读取客户端发来的数据 memset(ev->buf, 0x00, sizeof(ev->buf)); len = Read(fd, ev->buf, sizeof(ev->buf));//读文件描述符, 数据存入myevent_s成员buf中 eventdel(g_efd, ev); //将该节点从红黑树上摘除 if (len > 0) { ev->len = len; ev->buf[len] = '\0'; //手动添加字符串结束标记 printf("C[%d]:%s\n", fd, ev->buf); eventset(ev, fd, senddata, ev); //设置该 fd 对应的回调函数为 senddata eventadd(g_efd, EPOLLOUT, ev); //将fd加入红黑树g_efd中,监听其写事件 } else if (len == 0) { Close(ev->fd); /* ev-g_events 地址相减得到偏移元素位置 */ printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events); } else { Close(ev->fd); printf("read [fd=%d] error[%d]:%s\n", fd, errno, strerror(errno)); } return; } // 回调函数 - 通信的文件描述符发生写事件时候被调用 void senddata(int fd, int events, void *arg) { int len; struct myevent_s *ev = (struct myevent_s *)arg; //将小写转换为大写发送给客户端 int i=0; for(i=0; i<ev->len; i++) { ev->buf[i] = toupper(ev->buf[i]); } //发送数据给客户端 len = Write(fd, ev->buf, ev->len); if (len > 0) { printf("send[fd=%d]-->[%d]:[%s]\n", fd, len, ev->buf); eventdel(g_efd, ev); //从红黑树g_efd中移除 eventset(ev, fd, recvdata, ev); //将该fd的 回调函数改为 recvdata eventadd(g_efd, EPOLLIN, ev); //从新添加到红黑树上, 设为监听读事件 } else { Close(ev->fd); //关闭链接 eventdel(g_efd, ev); //从红黑树g_efd中移除 printf("send[fd=%d] error %s\n", fd, strerror(errno)); } return; } /*创建 socket, 初始化lfd */ void initlistensocket() { //创建socket g_lfd = Socket(AF_INET, SOCK_STREAM, 0); //对事件结构体赋值 /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg); */ eventset(&g_events[MAX_EVENTS], g_lfd, acceptconn, &g_events[MAX_EVENTS]);//仅仅是对g_events[MAX_EVENTS]进行设置 //将监听文件描述符上树 eventadd(g_efd, EPOLLIN, &g_events[MAX_EVENTS]); //绑定 struct sockaddr_in servaddr; memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_addr.s_addr = htonl(INADDR_ANY); servaddr.sin_port = htons(8888); Bind(g_lfd, (struct sockaddr *)&servaddr, sizeof(servaddr)); Listen(g_lfd, 20); return; } int main(int argc, char *argv[]) { g_efd = epoll_create(MAX_EVENTS+1); //创建红黑树,返回给全局 g_efd if(g_efd<0) { perror("create epoll error"); return -1; } //socket-bind-listen-将监听文件描述符上树 initlistensocket(); struct epoll_event events[MAX_EVENTS+1]; //保存已经满足就绪事件的文件描述符数组 int checkpos = 0, i; while (1) { /* 超时验证,每次测试100个链接,不测试listenfd 当客户端60秒内没有和服务器通信,则关闭此客户端链接 */ long now = time(NULL); //当前时间 //一次循环检测100个。 使用checkpos控制检测对象 for (i = 0; i < 100; i++, checkpos++) { if (checkpos == MAX_EVENTS) { checkpos = 0; } if (g_events[checkpos].status != 1) //不在红黑树 g_efd 上 { continue; } long duration = now - g_events[checkpos].last_active; //客户端不活跃的世间 if (duration >= 60) { Close(g_events[checkpos].fd); //关闭与该客户端链接 printf("[fd=%d] timeout\n", g_events[checkpos].fd); eventdel(g_efd, &g_events[checkpos]); //将该客户端 从红黑树 g_efd移除 } } /*监听红黑树g_efd, 将满足的事件的文件描述符加至events数组中, 1秒没有事件满足, 返回 0*/ int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000); if (nfd < 0) { printf("epoll_wait error, exit\n"); break; } for (i = 0; i < nfd; i++) { /*使用自定义结构体myevent_s类型指针,接收联合体data的void *ptr成员*/ struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr; //读就绪事件 if ((events[i].events & EPOLLIN) && (ev->events & EPOLLIN)) { //ev->call_back(ev->fd, events[i].events, ev->arg); ev->call_back(ev->fd, events[i].events, ev); } //写就绪事件 if ((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT)) { //ev->call_back(ev->fd, events[i].events, ev->arg); ev->call_back(ev->fd, events[i].events, ev); } } } /*关闭文件描述符 */ Close(g_efd); Close(g_lfd); return 0; }
- 【注】:参考黑马linux C++教程