Scrapy框架的创建

Python爬虫之Scrapy框架

(一)创建

---

****来自B站

1.安装scrapy库

pip install scrapy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
pip install pypiwin32 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

2.创建第一个scrapy项目

需要在命令行中进行,首先进入要创建工程的目录中,运行如下代码

scrapy startproject (+ 名字)

必须创建一个就qsbk的工程

scrapy startproject qsbk

下图就是生成的样式

3.创建爬虫

上面我们还未创建爬虫,还需要如下的命令

scrapy genspider +名字 + 域名

注意,要先进入到我们刚刚创建的项目当中再创建

cd qsbk
scrapy genspider qsbk_spider "qiushibaike.com"

可以发现多了一个 qsbk_spider.py的文件

自动生成如下代码