Urllib2 Proxy
程序员文章站
2022-05-30 19:07:48
...
自己写了一个小工具,抓取一些站点的东西,然后经过自己写的和个简单的算法, 给自己推荐感兴趣的文章,主要是在手机上看, 因为这个要抓取的 list 里面有很多国外的站点, 原因就不用说了,不用代理是访问不了的, urllib2 是支持代理的 import urllib2 enabl
自己写了一个小工具,抓取一些站点的东西,然后经过自己写的和个简单的算法,
给自己推荐感兴趣的文章,主要是在手机上看, 因为这个要抓取的 list 里面有很多国外的站点,
原因就不用说了,不用代理是访问不了的, urllib2 是支持代理的
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://127.0.0.1:8087'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
f = open('00000002.html','wb')
html = urllib2.urlopen('http://cn.nytimes.com').read()
f.write(html)
f.close()
stack overflow urllib proxy
原文地址:Urllib2 Proxy, 感谢原作者分享。
上一篇: PHP+MySQL之Insert Into数据插入用法分析
下一篇: PHP中的错误处理
推荐阅读
-
Redis Cluster模式与Proxy模式比较 博客分类: Redis
-
$Proxy0 cannot be cast to com.performer.service.impl.PoeticJuggler 博客分类: Spring $Proxy0 cannot be cast toaop异常
-
$Proxy0 cannot be cast to com.performer.service.impl.PoeticJuggler 博客分类: Spring $Proxy0 cannot be cast toaop异常
-
nginx反向代理配置 博客分类: nginx nginx配置反向代理proxy_passnginx 去除前缀nginx
-
Java代理设计模式(Proxy)的四种具体实现:静态代理和动态代理 Java设计模式DesignPattern代理模式proxy模式
-
Envoy Proxy代码构建分析
-
curl: (7) Received invalid version in initial SOCKS5 response. curl: (5) Could not resolve proxy:
-
conda install/update 代理联网报错 ProxyError: Conda cannot proceed due to an error in your proxy configur
-
k8s实践4:kube-proxy问题iptables转发规则不显示
-
urllib2 get post 博客分类: ptython python