欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Scrapy cookie 使用

程序员文章站 2022-05-11 23:16:47
...

在需要获取到响应的cookie值更新后才能获取到数据的场景下,Scrapy框架已经为我们自动处理cookie提供了组件支持。

所以在查阅了相关文章并实践填坑后,得出了下面的解决方式。

第一步是设置 settings.py 文件

cookie参数仅在 COOKIES_ENABLED 设置为 True 时才有效,因为 CookiesMiddleware 会处理它。

所以首先在 settings.py 文件里要去掉注释,改成 COOKIES_ENABLED = True

查阅官方文档,官方推荐使用cookiejar https://docs.scrapy.org/en/latest/topics/downloader-middleware.html

for i, url in enumerate(urls):
    yield scrapy.Request(url, meta={'cookiejar': i},
        callback=self.parse_page)
    ##请记住,cookjar元键(meta key)不会一直保留。你需要在后续请求重进行传递。 例如:
    Keep in mind that the cookiejar meta key is not “sticky”.
    You need to keep passing it along on subsequent requests. For example:
def parse_page(self, response):
    # do some processing
    return scrapy.Request("http://www.example.com/otherpage",
        meta={'cookiejar': response.meta['cookiejar']},
        callback=self.parse_other_page)

第二步,按照如下模板代码进行改写,来源于网络。

第一次请求一下登录页面,设置开启cookie使其得到cookie,设置回调函数,添加参数meta={‘cookiejar’:1}。1是标识符,代表当前这个请求的cookie。

执行回调函数处理响应,获取到响应的cookie,在请求中添加参数meta={‘cookiejar’:response.meta[‘cookiejar’]}。

到这一步差不多就能解决需要Set-Cookie才能响应的请求了,之后如果还需模拟登陆也可以参考此模板进行改写。

import scrapy
from scrapy.http import Request,FormRequest
import re

class PachSpider(scrapy.Spider):             #定义爬虫类,必须继承scrapy.Spider
    name = 'pach'                            #设置爬虫名称
    allowed_domains = ['dig.chouti.com']     #爬取域名
    # start_urls = ['']                      #爬取网址,只适于不需要登录的请求,因为没法设置cookie等信息

    header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'}#设置浏览器用户代理


    def start_requests(self):
        """第一次请求一下登录页面,设置开启cookie使其得到cookie,设置回调函数"""
        return [Request('http://dig.chouti.com/',meta={'cookiejar':1},callback=self.parse)]

    def parse(self, response):
        # 响应Cookies
        Cookie1 = response.headers.getlist('Set-Cookie')#查看响应Cookie,也就是第一次访问注册页面时后台写入浏览器的Cookie
        print('后台首次写入的响应Cookies:',Cookie1)
        data = {   # 设置用户登录信息,对应抓包得到字段
            'phone': '8615284816568',
            'password': '279819',
            'oneMonth': '1'
        }

        print('登录中....!')
        """第二次用表单post请求,携带Cookie、浏览器代理、用户登录信息,进行登录给Cookie授权"""
        return [FormRequest.from_response(response,
                                          url='http://dig.chouti.com/login',  #真实post地址
                                          meta={'cookiejar':response.meta['cookiejar']},
                                          headers=self.header,
                                          formdata=data,
                                          callback=self.next,
                                          )]


    def next(self,response):
        # 请求Cookie
        Cookie2 = response.request.headers.getlist('Cookie')
        print('登录时携带请求的Cookies:',Cookie2)

        jieg = response.body.decode("utf-8")   #登录后可以查看一下登录响应信息
        print('登录响应结果:',jieg)


        print('正在请需要登录才可以访问的页面....!')

        """登录后请求需要登录才能查看的页面,如个人中心,携带授权后的Cookie请求"""
        yield Request('http://dig.chouti.com/user/link/saved/1',meta={'cookiejar':True},callback=self.next2)

    def next2(self,response):
        # 请求Cookie
        Cookie3 = response.request.headers.getlist('Cookie')
        print('查看需要登录才可以访问的页面携带Cookies:',Cookie3)
        leir = response.xpath('//div[@class="tu"]/a/text()').extract()  #得到个人中心页面
        print('最终内容',leir)
        leir2 = response.xpath('//div[@class="set-tags"]/a/text()').extract()  # 得到个人中心页面
        print(leir2)

最终经过改写上面代码,实现自己需求的代码如下:

# -*- coding: utf-8 -*-
import scrapy
import datetime
from scrapy.http import Request,FormRequest
import json


class NosecSpider(scrapy.Spider):
    name = 'nosec'
    allowed_domains = ['nosec.org']
    # start_urls = ['https://nosec.org/home/index']
    def start_requests(self):
        """第一次请求一下登录页面,设置开启cookie使其得到cookie,设置回调函数"""
        return [Request('https://nosec.org/home/index',meta={'cookiejar':1},callback=self.parse)]


    def parse(self, response):
        x_csrf_token = response.xpath('//meta[@name="csrf-token"]/@content')[0].extract()
        print(x_csrf_token)
        cookie = response.headers.getlist('Set-Cookie')
        print('后台首次写入的响应Cookies:', cookie)
        url = "https://nosec.org/home/ajaxindexdata"
        header = {
            'X-CSRF-TOKEN': x_csrf_token,
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'
        }
        return [FormRequest.from_response(
            response,
            url=url,
            meta={'cookiejar':response.meta['cookiejar']},
            headers=header,
            formdata={"keykind": "", "page": "1"},
            callback=self.parse_nosec,
          )]
        pass


    def parse_nosec(self, response):
        print(response.body_as_unicode)
        datas = json.loads(response.body_as_unicode())
        for data in datas['data']['threatData']['data']:
            title = data['title']
            url = "https://nosec.org/home/detail/" + str(data['id']) + ".html"
            content = data['summary']
            date = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        pass

参考来源:

http://liuxin.im/article/scrapy登录获取cookies