欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy爬虫不调用process_item函数的问题

程序员文章站 2022-05-05 15:57:03
...

scrapy爬虫不调用process_item函数的问题

scrapy提供了实体管道(pipeline)组件,可以把数据存储到文件中,通过pipeline.py文件实现。
在按照韦玮《精通Python网络爬虫:核心技术、框架与项目实战》书中的步骤进行配置之后,执行如下指令:

scrapy crawl weisuen --nolog

发现数据并未保存到指定文件中,但mydata1.txt已经创建成功,后来发现pipelines.py中的process_item函数并未被调用,通过网上查询资料,找到解决方法:
1、正确配置settings.py文件
2、爬虫文件parse()函数一定要有yield语句 即yield item