python的scarpy框架的安装及项目创建

scarpy框架的安装：

1.了解Scrapy框架的基本概论：Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。
2.掌握Scrapy安装的基本步骤：pip/pip3 install scrapy

一、主要步骤：

1）先安装Twisted：下载地址：
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

2)跳转到对应的地方：选择你python安装的版本以及对应的位数，我安装的是3.9版本的

3）将下载好的Twisted拷贝到Python解释器的scripts目录下

4）通过cmd打开dos窗口 将路径切换到python的scripts目录下并安装Twisted
安装指令：pip install +Twisted(切换到这个路径下后，可以打前面几个英文后后按Tap会自动补全）


安装成功
5）安装scrapy框架：
安装指令：pip install scrapy


安装成功显示

二、scarpy项目创建：

1） 创建项目：scrapy startproject +项目名称(mySpider);
项目名称自己取

2 切换到项目工程下继续创建，生成一个具体的爬虫文件；
用命令：Scrapy genspider + 爬虫模块的文件名称 + 指定访问的域名；

3）在生成的模块文件中编写代码，并用Xpath获取想要的网页信息；

4）运行爬虫程序
用指令：Scrapy crawl + 爬虫模块文件名

运行成功如下结果：

5）在项目中生成的 .json文件中查看爬取的信息内容

本文地址：https://blog.csdn.net/Deity_O/article/details/110478360