欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python爬虫7:多线程中商官网关于上市公司信息的爬取

程序员文章站 2022-06-04 09:12:22
...

一、多线程功能与库
1.多线程功能
一个线程、一个进程,称为单线程爬虫,单线程爬虫每次只能访问一个页面。
多线程爬虫可以同时访问10个页面,或者更多,相当于爬取速度提高了10倍。

2.多进程库
多进程库:multiprocessing
multiprocessing的dummy模块,可以让python使用multiprocessing。
Dummy下面有一个Pool类,用来实现多线程。

from multiprocessing import Pool 
pool=Pool(processes=4) #创建进程池 
pool.(func,iterable[,chunksize])

第1 行用于导入multiprocessing 库的Pool 模块。
第2 行用于创建进程池, processes 参数为设置进程的个数。
第3 行利用

相关标签: 爬虫及文本分析