由select引发的思考

一、前言

　　网络编程里一个经典的问题，selec,poll和epoll的区别？这个问题刚学习编程时就接触了，当时看了材料很不明白，许多概念和思想没有体会，现在在这个阶段，再重新回头看这个问题，有一种豁然开朗的感觉，

把目前我所能理解到的记录下来。

　　参考资料：https://www.cnblogs.com/zingp/p/6863170.html

　　　　　　　http://blog.csdn.net/a837199685/article/details/45954349

　　　　　　　https://www.zhihu.com/question/32163005

　　　　　　　http://shmilyaw-hotmail-com.iteye.com/blog/1896683

　　　　　　　http://www.cnblogs.com/my_life/articles/3968782.html

　　　　　　　https://www.cnblogs.com/Anker/p/3265058.html

二、从操作系统开始谈起

　　有几个以后一直谈到的概念，有必要先了解，以前就是这个步骤没做，学习的时候一脸懵逼。

 

　　1. 用户空间和内核空间

　　　　目前操作系统寻址模式为虚拟寻址，即处理器产生虚拟地址，之后翻译成物理地址，总线到物理地址处理，处理器拿到处理后的数据

　　　　操作系统 的核心为内核，可以访问受保护的内存空间，可以访问底层硬件设施，可以做任何事情。所以为了系统的稳定，讲道理内核应该被保护起来。

　　　　所以虚拟空间被分为内核空间和用户空间。内核空间在最高的1G中，用户空间在剩下的内存中。

　　　　多数我们所用的进程在用户空间处理，把请求发给内核，在内核空间中操作硬件。

　　

　　2. 进程上下文切换（进程切换）

　　　　挂起当前进程，恢复某个进程，大家都知道这是个开销大的过程，那具体有哪些步骤呢？

　　　　首先，保存当前进程一些必要信息用以日后恢复，如描绘地址空间的页表，进程表，文件表等等。

　　　　然后切换页全局目录，安装一个新的地址空间

　　　　最后回复目标进程的上下文

 

　　3. 文件描述符（fd）

　　　　计算机的一个术语，指向文件对象的一个抽象表示。形式上是一个非负整数的索引值，指向文件表中的文件

　　　　当程序打开或创建一个文件时，内核向进程返回一个文件描述符，代表该文件。

　　　　通过操作文件描述符，我们实现真实操作文件的目的

 

　　4.  进程阻塞（process block）

　　　　当某个进程等待一个执行结果时，自身阻塞（不干事），直到得到结果，再继续往下，

　　　　重点是：这个是进程自身行为，且阻塞时不占用cpu资源（cpu也不干事），

　　　　所以I/O请求最拉低性能，俗话说占着茅坑不拉屎，在计算机里也是存在的，所以人们设计了多线程，多进程等方案来解决这个问题。

　　

　　5.  I/O过程

　　　　一般有两种模式，直接 I/O，缓存 I/O（默认），

　　　　缓存 I/O：

　　　　　　进程发起系统调用（通知系统我要读写了！）

　　　　　　写： 进程（数据） -------》 进程缓冲池   ------------》 内核缓冲池 ----------》存储设备

　　　　　　读： 存储设备（数据）---------》内核缓冲池 ----------》进程缓冲池 ---------》进程

 

　　　　直接 I/O（进程缓存池消失了！）：　　　　　　

　　　　　　进程发起系统调用（通知系统我要读写了！）

　　　　　　写： 进程（数据）    ------------》 内核缓冲池 ----------》存储设备

　　　　　　读： 存储设备（数据）---------》内核缓冲池  ---------》进程

　　　　以上每个步骤之间都是有可能进程会有阻塞（block）发生，根据不同位置的阻塞，就产生了多种网络模式，以适应于不同场景。

 

　　　　　

三、 I/O模式（以读为例）

　　　1.  block I/O 

　　　　过程 ：  

　　　　　　进程发起系统调用（通知系统我要读写了！）

　　　　　　读： 存储设备（数据）---------》内核缓冲池  ---------》进程------------》内核通知进程ok，进程解除阻塞

　　　　　　　　　　　　　　　　 进程阻塞                   进程阻塞

　　　　解释：

　　　　　　进程一直等文件准备好，再继续下一步。

　　　　应用场景：

　　　　　　以上原理是一个用户连接的情况，很容易理解。

　　　　　　当一个服务器对接多个客户端的时候：

　　　　　　初级方案：开多进程（大数据或长时间任务、开销大，更安全）或多线程（很多连接，开销低，数据放一起不太安全）为每一个客户端建立一个连接来处理。

　　　　　　不足：高并发的情况就体现出开销大，性能低。一个是多线程切换，上下文切换的性能开销，另一个是多线程数量大，会占据大量系统资源

 

　　　　　　优化方案：采用线程池（减少创建和销毁线程的频率）或连接池（维持连接的缓存池，尽量重用已有的连接），降低系统开销

　　　　　　不足：降低开销还是有限度的，在这个时代，高并发大，很容易到达瓶颈。

　　　

　　　2. non-block I/O 　　

　　　　过程 ：  

　　　　　　发起系统调用（通知系统我要读写了！）

　　　　　　读： 存储设备（数据）-------------》内核缓冲池  -----------》进程-------------》内核通知进程ok，进程解除阻塞

　　　　　　　　　　　　　　　　 非阻塞                              阻塞

　　　　解释：

　　　　　　在内核准备数据阶段，立即返回一个error给进程，

　　　　　　因此进程知道内核还没准备好，

　　　　　　所以进程再问内核，内核再回error，直到内核准备好，被询问时返回准备好的信号，进程再接触阻塞，

　　　　应用场景：

　　　　　　连接量小，没差别，

　　　　　　当连接数大的时候，这个模式理论上可以用一个线程实现多个连接：

　　　　　　由于非阻塞，这个线程可以循环去询问所有连接目标有没有准备好，内核都是立马回复，error往下，准备好就交给进程，所以不会浪费时间，

　　　　　　但是，（凡事都有但是），这个简单的实现方案，效率还是很低的，毕竟从内核空间到用户空间还是block的，而且会极大推高cpu占用率。

　　　　　　特别是当响应事件（读取或者其他）庞大的时候，执行速度就会很缓慢。

　　　　　　下面的select等就是基于此想法的发展。

 

　　　3. I/O multiplexing

　　　　目标：低开销，高效率得处理高并发请求

　　　　方案：select 、poll、epoll 三种实现方案

　　　　本质：用 select、poll、epoll 去监听所有 socket对象，当socket对象发生变化时，通知用户进程处理。

　　　　特征：

　　　　　　　select（最早出现）：多平台支持

　　　　　　　　　　　　　　　　通过轮询，效率较低

　　　　　　　　　　　　　　　　处理连接数量有限制，默认1024个，

　　　　　　　　　　　　　　　　大量用户态和内核态fd的拷贝，性能低，

　　　　　　　　　　　　　　　　返回的是所有句柄列表，没有告诉是哪一个发生变化，用户进程还得再次遍历。

　　　　　　　poll（略微改进）：改进了数量连接限制，做到了数量无限制

　　　　　　　epoll（改进所有缺点）：当socket变化时，通知进程哪一个完成了，

　　　　　　　　　　　　　　　　　　数量无限制（为系统最大打开文件数量）

　　　　　　　　　　　　　　　　　　fd句柄只拷贝一次，性能高

　　　　性能对比：

　　　　　　

　　　　　　横坐标是连接数，Dead Connections 是软件命名的，纵坐标是此时处理连接数

　　　　　　可以看出 epoll 性能比较稳定，而且性能较优。

　　　　仔细过程讨论：

　　　　　　　　这里只讨论大致原理，具体实现不同语言有不同的差别。（不是因为我没做过，不是的）

　　　　　　　　首先。在多路复用模型中，对于每一个 socket，一般都设置成为 non-blocking，但是，整个用户的 process 其实是一直被 block 的

　　　　　　　　即用户进程被select、poll阻塞，但是select、poll是非阻塞的，他们不断轮询、挂起来完成工作。

 

　　　　　　　　select：

　　　　　　　　　　1. 从用户态拷贝 fd_set 至内核空间（告诉内核要监听的socket）

　　　　　　　　　　2..注册回调函数pollwait（将进程挂到等待队列中，当socket准备好后（执行mask状态码判断），再唤醒进程）

　　　　　　　　　　3. 内核遍历fd，调用每一个的poll方法（本质上是pollwait回调函数，返回值socket的mask状态掩码，即现在准备好了没，给fd_set赋值）

　　　　　　　　　　4. 当无可读写mask码（没有任何准备好的），select睡眠，等睡眠时间到，再次醒来轮询fd-set

　　　　　　　　　　5. 有值时返回fd_set（已经赋值完，例如可以读的value为1）、将其拷贝至用户空间

　　　　　　　　　　6. 用户进程循环fd_set,

　　　　　　　　分析：

　　　　　　　　　　每次循环都要执行上面流程，

　　　　　　　　　　一次循环两次拷贝fi_set，即每次监听都重新告诉内核要监听的事件，在用户量很大的时候是一个很大的开销

　　　　　　　　　　返回所有的fd_set，却没有告诉进程哪一个是完成的，进程还得循环判断，用户量很大（十万，百万）的时候，性能太低

　　　　　　　　　　因此，select只支持1024个连接。

　　　　　　　　　　这也解释了上图中为什么连接量越大，性能越低的现象，许多时间用来处理无活跃的连接、循环判断中，在高并发低活跃的场景中尤为如此。

　　　　　　　　poll：

　　　　　　　　　　将fd_set结构改为pollfd结构，可以不限数量，但是其他问题咩有解决。

　　　　　　　　epoll：

　　　　　　　　　　改进：

　　　　　　　　　　　　fd只拷贝一次（开始就告诉内核所有注册事件，监听对象）。

　　　　　　　　　　　　只返回包含所有变化的fd的链表。

　　　　　　　　　　　　连接无限制

　　　　　　　　　　epoll提供三个函数

　　　　　　　　　　epoll_create（句柄），开始是有size参数，说明fd数量，现在内核动态分配，

　　　　　　　　　　epoll_ctl（注册事件类型），注册监听事件

　　　　　　　　　　epoll_wait（等待事件发生），捕捉fd信号，

　　　　三者区别小结：

　　　　　　select、poll 孪生兄弟，有许多缺点，优点不多，应用场景也不多。是时代的产物

　　　　　　epoll  是进阶版，但是只有Linux有，

　　　　　　具体情况具体分析。

　　

　　4. 异步io

　　　　解释：进程完全不阻塞，请求发完就去做其他事，等数据全部准备好，内核发消息给进程，进程接着处理，

　　　　实现：听说很复杂，没研究。

 

四、总结和挖坑

　　研究了一些操作系统的概念，研究了I/O模式，着重研究了select、poll、epoll 的区别，

　　有时间 具体实现和操作，实践出真知，许多细节可能还有谬误，待以后水平上升，再来修改。