scrapy爬虫不调用process_item函数的问题
程序员文章站
2022-05-05 15:57:03
...
scrapy爬虫不调用process_item函数的问题
scrapy提供了实体管道(pipeline)组件,可以把数据存储到文件中,通过pipeline.py文件实现。
在按照韦玮《精通Python网络爬虫:核心技术、框架与项目实战》书中的步骤进行配置之后,执行如下指令:
scrapy crawl weisuen --nolog
发现数据并未保存到指定文件中,但mydata1.txt已经创建成功,后来发现pipelines.py中的process_item函数并未被调用,通过网上查询资料,找到解决方法:
1、正确配置settings.py文件
2、爬虫文件parse()函数一定要有yield语句 即yield item
上一篇: 谈谈C++中const的那些事
下一篇: 谈谈引用和Threadlocal的那些事