Scrapy之AttributeError: 'str'/"list" object has no attribute 'xpath'问题分析

环境介绍

Scrapy 1.5.1 , Python 3.6.5

问题描述

在调用过程中，会报出以下错误信息：

'str' object has no attribute 'xpath'

• 1

在代码中，尝试对于Selector对象调用xpath方法，选取特定的Web元素节点。
代码示例如下：

    def parse_item(self, response):
        item_links = response.xpath('//*[@id="plist"]/ul/li'）.extract() 
        for link in item_links:
            sku_id = link.xpath('./div/@data-sku').extract_first()
            store_id = link.xpath('./div/@venderid').extract_first()
            print("process item: %s, item:%s" % ("process_item....", link))
            print("sku id:%s, store id:%s" % (sku_id, store_id))
     ......

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

问题分析

extract()/extract_first()方法本身都是用去提取节点的内容的，不是用来提取页面元素的Selector封装，所以无法对于这些提取的节点，使用xpath来做下一步的选取。
所以修改的方法如下：

    def parse_item(self, response):
        item_links = response.xpath('//*[@id="plist"]/ul/li') 
        for link in item_links:
            sku_id = link.xpath('./div/@data-sku').extract_first()
            store_id = link.xpath('./div/@venderid').extract_first()
            print("process item: %s, item:%s" % ("process_item....", link))
            print("sku id:%s, store id:%s" % (sku_id, store_id))
     ......

其他的情况

除此之外，在所选择的的节点为None之时，也是非常容易出现类似xxx object has no attribute ‘xpath’的错误信息。

总结

Scrapy支持非常良好的selet特性，方便基于xpath和selector来进行各类元素和属性的选取。

--------------------- 作者：bladestone 来源：CSDN 原文：https://blog.csdn.net/blueheart20/article/details/81567657?utm_source=copy 版权声明：本文为博主原创文章，转载请附上博文链接！