Scrapy中的yield使用

Scrapy中yield的使用

• 背景
• yield的理解
• scrapy中的yield的使用
• scrapy中的传值的问题
• 参考

背景

yield和协程总是相伴出现。
scrapy使用yield进行数据解析和爬取request。

yield的理解

yield的解释都比较复杂，一段典型的yield的使用如下：

def foo():    
    print("starting...")
    while True:
        res = yield 4
        print("res:",res)
g = foo()
print(next(g))
print("*"*20)
print(g.send(7))

这边有几个要点：

1. yield的一行跟return的用法基本比较接近；
2. 含yield的函数(foo)被称为++生成器++；
3. res = yield 4处包含了4个操作
   1. 向调用处抛出(返回)4
   2. 暂停，并等待调用处的next或send恢复
   3. 接收调用处send发送进来的值
   4. 将接收到的值赋给等号左边
4. 生成器接收到next或send恢复后，从yield的下一句开始执行，
   1. 本例中调用next恢复后，从yield处继续往下执行，其中next调用带入的参数为None，因此从执行res = None继续往下；
   2. 本例中调用send恢复后，从yield处继续往下执行，其中yield在生成器的返回值为send带入的参数7

scrapy中的yield的使用

在scrapy中典型的yield场景主要是使用scrapy.Request对象和scrapy.Item对象。

scrapy.Request对象

def start_requests(self):
        urlfront = 'http://www.example.com/XYPT/score/scoreInfoList?objectType=1&pageSize=100&scoreUnitId='

        csv_reader = csv.reader(open("./Requirement.csv"))

        for line in csv_reader:
            #根据数据生成爬取地址
            url = urlfront + self.punishment_number
            yield scrapy.Request(url=url, callback=self.parse2)

scrapy框架会去获得Requese对象指向的链接，并进行爬取请求，在请求完成后调用该对象的回调函数。
这里我们查表获取链接，并拼装，在循环内通过yield来发起请求，并且还将函数parse2注册为回调函数，parse2中应提取响应所需的数据。

scrapy.Item对象

#存储结构化数据
for company in response.css('tbody').css("tr"):
    field = company.css("td")
    yield {
        'Number': field[0].css("::text").get(),
        'CompanyName': field[1].css("a::text").get().split(" ")[-1],
        'UnifiedCreditCode': field[2].css("::text").get(),
        'Address': field[3].css("::text").get(),
        'EstablishmentNumber':  field[4].css("a::text").get().split(" ")[-1],
        'EIAEngineersNumber':  field[5].css("a::text").get().split(" ")[-1],
        'Status':  field[6].get().split(" ")[-1].split("<")[0],
        'PunishmentDetail':  field[7].css("a.amend-see::attr(href)").get().split("'")[-2],
    }

{}中间构建了一个scrapy.Item对象，scrapy框架会将这个对象传递给pipelines.py进行下一步处理，如果没有编写pipelines.py，就是单纯对item进行返回。
这里我们通过yield返回了一个8个key的scrapy.Item对象。

scrapy中的传值的问题

在scrapy中，callback同spider是在不同的进程中执行的，所以如果使用全局变量会遇到多进程读写的毛病。
对于这一点，我们有两种解决方案。

从持久化数据源（数据库/表格）中获取数据

这一块的作法是根据url中的关键字进行解码，采用解码后的结果从持久化数据源中进行查表并获取所需的关联数据。

def parse(self, response):
    punish_id = response.url.split("=")[-1]
    with open("./Requirement.csv") as csvfile:
        reader = csv.DictReader(csvfile)
        for row in reader:
            if row["PunishmentID"] == punish_id:
                unified_credit_code = row["UnifiedCreditCode"]
                company_code = row['技术单位名称']

上述例子是

1. 从url中解码出punish_id
2. 将csv文件读取为字典
3. 搜索csv文件中对应的域"PunishmentID"，获取相关的unified_credit_code和company_code

使用cb_kwargs在request和callback回调函数之间进行传参

    # 在Request发起端定义cb_kwargs,注意参数需要用dict来进行定义
    yield scrapy.Request(url=url, callback=self.parse2, 
                         cb_kwargs=dict(company_code=self.company_name, punish_id=self.punishment_number, unified_credit_code=self.unified_creditcode))

#在callback函数中需要对应地声明cb_kwargs的参数
def parse2(self, response, company_code, punish_id, unified_credit_code):

这里，将全局变量self.company_name, self.punishment_number和self.unified_creditcode通过传值的方式参数传递给回调函数，并确保了上述全局变量被改变后，不影响回调函数中对这些值的使用。

注意:
Request.cb_kwargs是在scrapy 1.7 版本后被引入的。之前的版本使用Request.meta给回调函数传递信息，但meta的下属结构定义是固定的。1.7版本后，通常我们使用Request.cb_kwargs来处理用户信息，而Request.meta作为中间件和扩展组件的通信使用。

参考

https://towardsdatascience.com/web-scraping-with-scrapy-theoretical-understanding-f8639a25d9cd
https://docs.scrapy.org/en/latest/topics/request-response.html#topics-request-meta
https://www.cnblogs.com/chenxi188/p/10848690.html