scrapy常见命令(待续)
程序员文章站
2022-07-01 17:17:45
...
scrapy的命令分为全局命令和局部命令,顾名思义,全局命令在任何位置均可使用,而局部命令只能在某项目内使用
下面是一些命令的使用方法
scrapy -h
1.获取帮助
scrapy fetch http://www.baidu.com
2.爬取某一URL
scrapy shell http://www.baidu.com
exit()
3.采用交互式爬取某一url,exit退出
scrapy view http://news.163.com
4.爬取并在浏览器中打开某一网页
scrapy bench
5.检测计算机爬取性能,在下电脑就是个渣渣
scrapy genspider -t basic mm baidu.com
6.使用basic模式创建名为mm的域名为baidu.com的任务
几点说明
在网址http://www.baidu.com中,http为协议名,www为主机名,baidu.com为域名
四种爬取模式
basic
crawl
xmlfeed
csvfeed
scrapy startproject cw
7.创建名为cw的项目
上一篇: 瘦身排毒果汁你知道哪些吗
下一篇: 中医针灸可治疗“功血”