python 协程
进程和线程都会的切换都要消耗时间,保存线程进程当前状态以便下次继续执行。在不怎么需要cpu的程序中,即相对于io密集型的程序,协程相对于线程进程资源消耗更小,切换更快,更适用于io密集型。协程也是单线程的,没法利用cpu的多核,想利用cpu多核可以通过,进程+协程的方式,又或者进程+线程+协程。
1、协程的简单实现
协程的原理是通过生成器实现,如下:程序执行到19行,执行consumer函数到13行,next生成器,执行producer函数到8行停下,返回consumer函数13行继续往下执行,循环一次再次来到13行,生成器函数将从上次yield停下的地方往下执行。循环如此就完成就完成了并发的效果。
但有人可能会说我用循环顺序执行两个函数结果也一样啊,如下第2例子。当这里想说的是,这样并不能保留函数的执行的位置,只是简单的一个函数执行结束换到另一个函数而已,遇到需要cpu等待的操作也没法切换。在遇到需要cpu等待的操作主动让出cpu,记住函数执行的位置,下次切换回来继续执行才能算是并发的运行,提高程序的并发效果。
1 import time 2 3 4 def producer(): 5 while true: 6 time.sleep(1) 7 print("+++++ 1个包子", time.strftime("%x")) 8 yield 9 10 11 def consumer(): 12 while true: 13 next(prd) 14 print("----- 1个包子", time.strftime("%x")) 15 16 17 if __name__ == "__main__": 18 prd = producer() 19 consumer() 20 21 22 # 输出结果 23 +++++ 1个包子 16:22:30 24 ----- 1个包子 16:22:30 25 +++++ 1个包子 16:22:31 26 ----- 1个包子 16:22:31 27 +++++ 1个包子 16:22:32 28 ----- 1个包子 16:22:32 29 +++++ 1个包子 16:22:33 30 ----- 1个包子 16:22:33
1 import time 2 3 4 def producer(): 5 time.sleep(1) 6 print("+++++ 1个包子", time.strftime("%x")) 7 8 9 def consumer(): 10 print("----- 1个包子", time.strftime("%x")) 11 12 13 if __name__ == "__main__": 14 while true: 15 producer() 16 consumer() 17 18 19 # 输出结果 20 +++++ 1个包子 16:22:30 21 ----- 1个包子 16:22:30 22 +++++ 1个包子 16:22:31 23 ----- 1个包子 16:22:31 24 +++++ 1个包子 16:22:32 25 ----- 1个包子 16:22:32 26 +++++ 1个包子 16:22:33 27 ----- 1个包子 16:22:33
2、greenlet
greenlet模块需要安装,pip install greenlet。greenlet原理是对生成器的封装。greenlet类提供了一个方法,switch:在需要进行切换的时候切换到指定的协程。
1 from greenlet import greenlet 2 import time 3 4 5 def producer(): 6 while true: 7 time.sleep(1) 8 print("+++++ 1个包子", time.strftime("%x")) 9 gr2.switch() # 切换到gr2运行 10 11 12 13 def consumer(): 14 while true: 15 print("----- 1个包子", time.strftime("%x")) 16 gr1.switch() # 切换到gr1运行 17 18 19 if __name__ == "__main__": 20 gr1 = greenlet(producer) 21 gr2 = greenlet(consumer) 22 gr1.switch() # 切换到gr1运行 23 24 25 # 输出结果 26 +++++ 1个包子 09:39:45 27 ----- 1个包子 09:39:45 28 +++++ 1个包子 09:39:46 29 ----- 1个包子 09:39:46 30 +++++ 1个包子 09:39:47 31 ----- 1个包子 09:39:47
3、gevent
gevent模块也需要安装,pip install gevent。gevent是对gevent的再次封装,能自动识别耗时操作切换到其它协程。注意gevent遇到耗时操作才会切换协程运行,没有遇到耗时操作是不会主动切换的。
gevent.spawn(*args, **kwargs) 不定长参数中的第一个参数为协程执行的方法fn,其余的依次为 fn 的参数。开启了协程后要调用join方法。
gevent模块中识别耗时的操作有两种方式,① 使用gevent模块中重写的类。如,gevent.socket gevent.sleep ② 打补丁的方式,在所有的代码前。from gevent import monkey 导入这个模块,monkey.patch_all()调用这个方法。
推荐使用第二种方式,这样就不用更改已经写好的代码
1 import time 2 import gevent 3 4 5 def producer(): 6 for i in range(3): 7 time.sleep(1) 8 print("+++++ 1个包子", name, time.strftime("%x")) 9 10 11 def consumer(): 12 for i in range(3): 13 time.sleep(1) 14 print("----- 1个包子", name, time.strftime("%x")) 15 16 17 if __name__ == "__main__": 18 g1 = gevent.spawn(producer, "zhangsan") 19 g2 = gevent.spawn(consumer, "lisi") 20 g1.join() 21 g2.join() 22 23 24 # 输出结果 25 +++++ 1个包子 zhangsan 10:42:38 26 +++++ 1个包子 zhangsan 10:42:39 27 +++++ 1个包子 zhangsan 10:42:40 28 ----- 1个包子 lisi 10:42:41 29 ----- 1个包子 lisi 10:42:42 30 ----- 1个包子 lisi 10:42:43
1 import time 2 import gevent 3 4 5 def producer(): 6 for i in range(3): 7 gevent.sleep(1) 8 print("+++++ 1个包子", time.strftime("%x")) 9 10 11 def consumer(): 12 for i in range(3): 13 gevent.sleep(1) 14 print("----- 1个包子", time.strftime("%x")) 15 16 17 if __name__ == "__main__": 18 g1 = gevent.spawn(producer) 19 g2 = gevent.spawn(consumer) 20 g1.join() 21 g2.join() 22 23 24 # 输出结果 25 +++++ 1个包子 10:43:04 26 ----- 1个包子 10:43:04 27 +++++ 1个包子 10:43:05 28 ----- 1个包子 10:43:05 29 +++++ 1个包子 10:43:06 30 ----- 1个包子 10:43:06
1 import time 2 import gevent 3 from gevent import monkey 4 monkey.patch_all() 5 6 7 def producer(): 8 for i in range(3): 9 time.sleep(1) 10 print("+++++ 1个包子", time.strftime("%x")) 11 12 13 def consumer(): 14 for i in range(3): 15 time.sleep(1) 16 print("----- 1个包子", time.strftime("%x")) 17 18 19 if __name__ == "__main__": 20 g1 = gevent.spawn(producer) 21 g2 = gevent.spawn(consumer) 22 g1.join() 23 g2.join() 24 25 26 # 输出结果 27 +++++ 1个包子 10:44:04 28 ----- 1个包子 10:44:04 29 +++++ 1个包子 10:44:05 30 ----- 1个包子 10:44:05 31 +++++ 1个包子 10:44:06 32 ----- 1个包子 10:44:06
当开启的协程很多的时候,一个个的调用join方法就有点麻烦,所以gevent提供了一个方法joinall(),可以一次join所有的协程。joinall() 方法传参一个列表,列表包含了所有的协程。
1 import time 2 import gevent 3 from gevent import monkey 4 monkey.patch_all() 5 6 7 def producer(name): 8 for i in range(3): 9 time.sleep(1) 10 print("+++++ 1个包子", name, time.strftime("%x")) 11 12 13 def consumer(name): 14 for i in range(3): 15 time.sleep(1) 16 print("----- 1个包子", name, time.strftime("%x")) 17 18 19 if __name__ == "__main__": 20 gevent.joinall([gevent.spawn(producer, "zhangsan"), gevent.spawn(consumer, "lisi")]) 21 22 23 # 输出结果 24 +++++ 1个包子 zhangsan 10:51:34 25 ----- 1个包子 lisi 10:51:34 26 +++++ 1个包子 zhangsan 10:51:35 27 ----- 1个包子 lisi 10:51:35 28 +++++ 1个包子 zhangsan 10:51:36 29 ----- 1个包子 lisi 10:51:36
4、协程应用,并发服务器
服务端收到客户端消息,并原样发送回去
1 import socket 2 import gevent 3 from gevent import monkey 4 5 monkey.patch_all() 6 7 8 def fn(conn): 9 msg = conn.recv(1024).decode("utf-8") 10 print("服务的收到>>>", msg) 11 conn.send(msg.encode("utf-8")) 12 13 14 sk = socket.socket() 15 sk.bind(("127.0.0.1", 8899)) 16 sk.listen() 17 while true: 18 conn, addr = sk.accept() 19 print("已连接服务器-->", addr) 20 gevent.spawn(fn, conn) 21 sk.close() 22 23 24 # 输出结果 25 已连接服务器--> ('127.0.0.1', 53878) 26 已连接服务器--> ('127.0.0.1', 53879) 27 已连接服务器--> ('127.0.0.1', 53880) 28 服务的收到>>> client1 29 服务的收到>>> client2 30 服务的收到>>> client3
1 import socket 2 3 sk = socket.socket() 4 sk.connect(("127.0.0.1", 8899)) 5 msg = input("客户端发送的内容>>> ") 6 sk.send(msg.encode("utf-8")) 7 msg = sk.recv(1024).decode("utf-8") 8 print("客户端收到>>>", msg) 9 sk.close() 10 11 12 # 输出结果 13 客户端发送的内容>>> client1 14 客户端收到>>> client1
上一篇: python——函数之装饰器
下一篇: 函数内存分配