欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy中使用代理cookies user-agent

程序员文章站 2022-02-11 06:29:36
...

在(属于下载中间件)中间件中定义
class UserAgentMiddleware():
def init():
self.useragents=[
]

def process_request(self,request,spider):
    request.headers['User-Agent']=random.choice(self.useragents)
    request.meta['proxy']='http://127.0.0.1:80'
    request.cookies={"":""}
相关标签: scrapy