scrapy 框架之post请求

通常网站通过 实现对某些表单字段（如数据或是登录界面中的认证令牌等）的预填充。

使用Scrapy抓取网页时，如果想要预填充或重写像用户名、用户密码这些表单字段，
可以使用FormRequest, 可以使用 FormRequest.from_response() 方法实现。

FormRequest类

参数:
    同Request
    formdata        表单参数(字典格式)
作用范围:
    模拟登陆
    发送post数据获取响应

# -*- coding: utf-8 -*-
import scrapy


class RenrenComSpider(scrapy.Spider):
    name = 'renren.com'
    allowed_domains = ['rneren.com']
    # start_urls = ['http://rneren.com/']#其默认是get请求

    # 检查start_url
    start_urls = ['http://www.renren.com/PLogin.do']

    # 因为start_urls默认是get请求，uj所以要重写parse方法
    def start_requests(self):

        # 构建url
        url = self.start_urls[0]

        # 构建post_data数据
        post_data = {
            'email': '***********',
            'password': '********'
        }
        # 默认有callback功能
        yield scrapy.FormRequest(url=url, formdata=post_data)

    def parse(self, response):

        with open('wwww.html', 'wb') as f:
            f.write(response.body)
        pass

FormRequest.from_response

参数:
    response
    formdata        表单参数(字典格式)

特性:    自动获取表单并将表单数据提交

作用范围:
    填写表单数据

# -*- coding: utf-8 -*-
import scrapy
class RenrenrtSpider(scrapy.Spider):
    name = 'renrenrt'
    allowed_domains = ['renren.com']
    start_urls = ['http://www.renren.com/']

    def parse(self, response):
        post_data={
            'email': '******@.***',
            'password': '**********'
        }
        # from_response需要一个含有表单的响应，所以不需要重写start_requests，
        #在本函数中获取到的response就含有登录表单，直接可以使用
        yield scrapy.FormRequest.from_response(
            response=response,
            callback=self.parse_login,
            formdata=post_data,
        )

    def parse_login(self, response):
        with open('[email protected]', 'wb') as f:
            f.write(response.body)

        pass