欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python实现自己的异步IO等异步操作

程序员文章站 2024-01-28 12:22:16
...

协程

首先引用下廖雪峰老师网站上的这部分介绍:
协程,又称微线程,纤程。英文名Coroutine。
协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。
子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。
所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。
子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。
协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。
注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。比如子程序A、B:

https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001432090171191d05dae6e129940518d1d6cf6eeaaa969000

具体实现

看完了廖老师的介绍后,用sleep函数确实是可以实现异步的过程,那么问题来了,如果需要实现自己的异步操作,应该怎么实现呢,在网上找了很多关于异步io的例子,百分之九十都是几个例子互相引用来引用去,最终在*上找到了一个可用的方法,以下给出示例代码

import asyncio
import time

def ret(a):
    time.sleep(3)
    return a

async def get_text(index_url):
    try:
        print(index_url,",","1")
        loop = asyncio.get_event_loop()
        # 主要在这
        resp = await loop.run_in_executor(None, ret, index_url)
        print(index_url,",","2","-",resp)
    except Exception as err:
        # 出现异常重试
        print(err)
        traceback.print_exc()
        return None
    return resp

tasks = []
for i in range(0, 3):
    tasks.append(get_text(i))
# 获取EventLoop:
loop = asyncio.get_event_loop()
# 执行coroutine
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

主要的部分就是resp = await loop.run_in_executor(None, ret, index_url)这一行,可以指定自己需要的函数 放入消息循环中,例如,爬虫类的,这个ret函数就可换成requests.get,以下为运行结果:

1 , 1
2 , 1
0 , 1
1 , 2 - 1
2 , 2 - 2
0 , 2 - 0

相关标签: 异步 python