欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

爬虫Scrapy指令学习

程序员文章站 2022-04-24 21:58:28
1、新建一个新的爬虫项目指令 scrapy startproject xxx 2、在项目/spider目录下创建一个名为XXX的爬虫,并指定爬取域的范围 scrapy genspider XXX "www.XXX.com" 3、执行运行命令 scrapy crawl itcast 4、保存execl ......

1、新建一个新的爬虫项目指令 scrapy startproject xxx

2、在项目/spider目录下创建一个名为xxx的爬虫,并指定爬取域的范围  scrapy genspider xxx "www.xxx.com"

3、执行运行命令 scrapy crawl itcast

4、保存execl数据 scrapy crawl xxx -o xxx.csv

5、保存json数据 scrapy crawl xxx -o xxx.json