scrapy中使用代理cookies user-agent
程序员文章站
2022-02-11 06:29:36
...
在(属于下载中间件)中间件中定义
class UserAgentMiddleware():
def init():
self.useragents=[
]
def process_request(self,request,spider):
request.headers['User-Agent']=random.choice(self.useragents)
request.meta['proxy']='http://127.0.0.1:80'
request.cookies={"":""}
上一篇: P1024【一元三次方程求解】