Python多线程下载文件的方法
程序员文章站
2024-02-06 11:12:40
本文实例讲述了Python多线程下载文件的方法。分享给大家供大家参考。具体实现方法如下:
import httplib
import urllib2
impo...
本文实例讲述了Python多线程下载文件的方法。分享给大家供大家参考。具体实现方法如下:
import httplib import urllib2 import time from threading import Thread from Queue import Queue from time import sleep proxy = 'your proxy'; opener = urllib2.build_opener( urllib2.ProxyHandler({'http':proxy}) ) urllib2.install_opener( opener ) ids = {}; for i in range(1,110): try: listUrl = "http://www.someweb.net/sort/list_8_%d.shtml" % (i); print listUrl; page = urllib2.urlopen(listUrl).read(); speUrl = "http://www.someweb.net/soft/"; speUrlLen = len(speUrl); idx = page.find(speUrl,0); while idx!=-1: dotIdx = page.find(".",idx + speUrlLen); if dotIdx != -1: id = page[idx + speUrlLen:dotIdx]; ids[id] = 1; idx = page.find("http://www.someweb.net/soft/",idx + speUrlLen); except: pass; q = Queue() NUM = 5 failedId = []; def do_somthing_using(id): try: url = "http://www.someweb.net/download.php?softid=%s&type=dx" % (id); h2 = httplib.HTTPConnection("your proxy", "you port"); h2.request("HEAD", url); resp = h2.getresponse(); header = resp.getheaders(); location = header[3][1]; sContent = urllib2.urlopen(location).read(); savePath = "C:\\someweb\\%s.rar" % (id); file=open(savePath,'wb'); file.write(sContent); file.close(); print savePath + " saved"; except: pass; def working(): while True: arguments = q.get() do_somthing_using(arguments) sleep(1) q.task_done() for i in range(NUM): t = Thread(target=working) t.setDaemon(True) t.start() for id in ids: q.put(id) q.join()
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
- Python3中多线程编程的队列运作示例
- 浅析Python多线程下的变量问题
- python使用socket远程连接错误处理方法
- 用Python实现一个简单的多线程TCP服务器的教程
- Python实现快速多线程ping的方法
- python通过socket查询whois的方法
- Python多线程结合队列下载百度音乐的方法
- Python实现多线程抓取妹子图
- 基python实现多线程网页爬虫
- 尝试使用Python多线程抓取代理服务器IP地址的示例
- 详解Python Socket网络编程
- Python多线程、异步+多进程爬虫实现代码
- Python 多线程抓取图片效率对比
- Python实现简单多线程任务队列
- Python多线程爬虫简单示例
- python socket多线程通讯实例分析(聊天室)
上一篇: Python爬取国外天气预报网站的方法
下一篇: python简单文本处理的方法