欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python爬虫框架scrapy安装

程序员文章站 2022-05-07 17:32:50
...

安装scrapy的时候报错:

首先用pip安装:

pip install scrapy
报错:忘记截图了,简而言之是要C++环境,要我下载


查了网上的攻略,用whl安装twisted包,再安装scrapy。

(1)安装twisted

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载合适自己的包,cp后面代表python版本,win代表系统的版本。

下好了,如下:

Twisted-17.9.0-cp36-cp36m-win_amd64

试着安装,报错:

python爬虫框架scrapy安装

有查了下,不是版本问题,说是文件名的问题,在shell中输入,可以获取到pip支持的文件名还有版本,

import pip; 
print(pip.pep425tags.get_supported())
不支持cp36m,学着别人只改了一个cp36m,还是报错。

后来,发现win_amd64也不被支持,所以也要改,改后:

Twisted-17.9.0-cp36-none-any.whl
试着安装,终于成功,接着用pip 安装scrapy,终于安装成功。