scrapy下使用ip代理的方法
程序员文章站
2022-05-11 21:04:42
...
class RandomProxyMiddleware(object):
#动态设置ip代理
def process_request(self, request, spider):
get_ip = GetIP()
request.meta["proxy"] = get_ip.get_random_ip()
如图,在middlewares 中设置好,然后在settings中开启该middlewares即可。前提是在独立脚本中已经写好获得ip的类:GetIP