欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python爬虫中多线程的使用

程序员文章站 2022-07-09 20:27:09
queue介绍 queue是python的标准库,俗称队列.可以直接import引用,在python2.x中,模块名为Queue。python3直接queue即可 在python中,多个线程之间的数据是共享的,多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换 ......

queue介绍

  • queue是python的标准库,俗称队列.可以直接import引用,在python2.x中,模块名为queue。python3直接queue即可
  • 在python中,多个线程之间的数据是共享的,多个线程进行数据交换的时候,不能够保证数据的安全性和一致性,所以当多个线程需要进行数据交换的时候,队列就出现了,队列可以完美解决线程间的数据交换,保证线程间数据的安全性和一致性。

#多线程实战栗子(糗百)
#用一个队列queue对象,
#先产生所有url,put进队列;
#开启多线程,把queue队列作为参数传入
#主函数中读取url

import requests
from queue import queue
import re,os,threading,time
# 构造所有ip地址并添加进queue队列
headers = {
    'user-agent': 'mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/65.0.3325.181 safari/537.36'
}
urlqueue = queue()
[urlqueue.put('http://www.qiumeimei.com/image/page/{}'.format(i)) for i in range(1,14)]
def get_image(urlqueue):

    while true:
        try:
            # 不阻塞的读取队列数据
            url = urlqueue.get_nowait()
            # i = urlqueue.qsize()
        except exception as e:
            break
        print('current thread name %s, url: %s ' % (threading.currentthread().name, url))
        try:
            res = requests.get(url, headers=headers)
            url_infos = re.findall('data-lazy-src="(.*?)"', res.text, re.s)
            for url_info in url_infos:
                if os.path.exists(img_path + url_info[-20:]):
                    print('图片已存在')
                else:
                    image = requests.get(url_info, headers=headers)
                    with open(img_path + url_info[-20:], 'wb') as fp:
                        time.sleep(1)
                        fp.write(image.content)
                    print('正在下载:' + url_info)
        except exception as e:
            print(e)

if __name__ == '__main__':
    starttime = time.time()
    # 定义图片存储路径
    img_path = './img/'
    if not os.path.exists(img_path):
        os.mkdir(img_path)
    threads = []
    # 可以调节线程数, 进而控制抓取速度
    threadnum = 4
    for i in range(0, threadnum):
        t = threading.thread(target=get_image, args=(urlqueue,))
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        # 多线程多join的情况下,依次执行各线程的join方法, 这样可以确保主线程最后退出, 且各个线程间没有阻塞
        t.join()
    endtime = time.time()
    print('done, time cost: %s ' % (endtime - starttime))