python爬虫7:多线程中商官网关于上市公司信息的爬取
程序员文章站
2022-06-04 09:12:22
...
一、多线程功能与库
1.多线程功能
一个线程、一个进程,称为单线程爬虫,单线程爬虫每次只能访问一个页面。
多线程爬虫可以同时访问10个页面,或者更多,相当于爬取速度提高了10倍。
2.多进程库
多进程库:multiprocessing
multiprocessing的dummy模块,可以让python使用multiprocessing。
Dummy下面有一个Pool类,用来实现多线程。
from multiprocessing import Pool
pool=Pool(processes=4) #创建进程池
pool.(func,iterable[,chunksize])
第1 行用于导入multiprocessing 库的Pool 模块。
第2 行用于创建进程池, processes 参数为设置进程的个数。
第3 行利用
上一篇: 数据结构与算法-哈希表
下一篇: 数据结构——堆排序