python实现自己的异步IO等异步操作
程序员文章站
2024-01-28 12:22:16
...
协程
首先引用下廖雪峰老师网站上的这部分介绍:
协程,又称微线程,纤程。英文名Coroutine。
协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。
子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。
所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。
子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。
协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。
注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。比如子程序A、B:
https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432090171191d05dae6e129940518d1d6cf6eeaaa969000
具体实现
看完了廖老师的介绍后,用sleep函数确实是可以实现异步的过程,那么问题来了,如果需要实现自己的异步操作,应该怎么实现呢,在网上找了很多关于异步io的例子,百分之九十都是几个例子互相引用来引用去,最终在*上找到了一个可用的方法,以下给出示例代码
import asyncio
import time
def ret(a):
time.sleep(3)
return a
async def get_text(index_url):
try:
print(index_url,",","1")
loop = asyncio.get_event_loop()
# 主要在这
resp = await loop.run_in_executor(None, ret, index_url)
print(index_url,",","2","-",resp)
except Exception as err:
# 出现异常重试
print(err)
traceback.print_exc()
return None
return resp
tasks = []
for i in range(0, 3):
tasks.append(get_text(i))
# 获取EventLoop:
loop = asyncio.get_event_loop()
# 执行coroutine
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
主要的部分就是resp = await loop.run_in_executor(None, ret, index_url)这一行,可以指定自己需要的函数 放入消息循环中,例如,爬虫类的,这个ret函数就可换成requests.get,以下为运行结果:
1 , 1
2 , 1
0 , 1
1 , 2 - 1
2 , 2 - 2
0 , 2 - 0
上一篇: Mysql时间戳转换函数
下一篇: PHP date() 函数