欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy下使用ip代理的方法

程序员文章站 2022-05-11 21:04:42
...
class RandomProxyMiddleware(object):
    #动态设置ip代理
    def process_request(self, request, spider):
        get_ip = GetIP()
        request.meta["proxy"] = get_ip.get_random_ip()

如图,在middlewares 中设置好,然后在settings中开启该middlewares即可。前提是在独立脚本中已经写好获得ip的类:GetIP