欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy常见命令(待续)

程序员文章站 2022-07-01 17:17:45
...

scrapy常见命令(待续)
scrapy的命令分为全局命令和局部命令,顾名思义,全局命令在任何位置均可使用,而局部命令只能在某项目内使用
下面是一些命令的使用方法

scrapy -h

1.获取帮助

scrapy fetch http://www.baidu.com

2.爬取某一URL

scrapy shell http://www.baidu.com
exit()

3.采用交互式爬取某一url,exit退出

scrapy view http://news.163.com

4.爬取并在浏览器中打开某一网页

scrapy bench

5.检测计算机爬取性能,在下电脑就是个渣渣

scrapy genspider -t basic mm baidu.com

6.使用basic模式创建名为mm的域名为baidu.com的任务
几点说明
在网址http://www.baidu.com中,http为协议名,www为主机名,baidu.com为域名
四种爬取模式

basic
crawl
xmlfeed
csvfeed
scrapy startproject cw

7.创建名为cw的项目

相关标签: python