scrapy中cookie的使用

后两种方法,传入的cookies类型必需是字典

方法一、修改 settings.py 文件

1、COOKIES_ENABLED = False 取消注释
2、DEFAULT_REQUEST_HEADERS = {}里面添加Cookie

方法二、爬虫文件

def start_requests(self):
    yield scrapy.Request(url=url,cookies={},callback=xxx)

方法三、在DownloadMiddleware中添加cookies

def process_request(self, request, spider):   
    request.cookies = {}

cookies 的处理可以用以下方法处理

cookies = {}
cookies_string = ''
for cookie in cookies_string.split('; '):
    cookies[cookie.split('=')[0]] = cookie.split('=')[1]
    request.cookies = cookies