python scrapy安装

对于scrapy的安装，首先要有一个python，个人建议是最新的3.6.x版本，笔者试了许多版本，相对于最新版都存在一些不便之处。
首先贴上网上的方法：
以下是网上的方法，大部分是可行的，但是经过笔者测试，还是会出现一些不可知的问题，笔者将在文末附上解决方案
http://blog.csdn.net/liuweiyuxiang/article/details/68929999
首先考虑使用最简单的方法安装

[plain] view plain copy

pip install scrapy

命令安装，提示
Failed building wheel for Twisted
Microsoft Visual C++ 14.0 is required…
于是开始问度娘应该怎样安装，看了几篇博客，虽然和我的问题不十分相同，但是也受到了启发，知道应该怎样解决我的问题了。解决问题的过程总结如下：
1、直接使用pip install scrapy安装不成功可以安装whl格式的包
首先下载scrapy的whl包
下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
在网页中搜索scrapy找到
Scrapy‑1.3.3‑py2.py3‑none‑any.whl
下载了scrapy的whl包先不要着急安装，接着
2、安装whl格式包需要安装wheel库
看到别人的博客上说可以直接使用pip install wheel安装wheel，由于我已经安装过wheel了，在这里就不用安装了，就没有测试怎么安装wheel。
没有安装过wheel库的请先安装。

3、scrapy依赖twiste，同样使用whl格式的包进行安装
还是进入http://www.lfd.uci.edu/~gohlke/pythonlibs/，在网页中搜索twisted找到其对应的whl包并下载
Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl

根据你的Python的版本选择合适的包，名称中间的cp36是python3.6的意思，amd64是python的位数

下载完成后使用cmd打开windows的命令行窗口，进入whl包所在的文件夹执行如下命令
pip install [whl]
[whl]是whl包的名字，即：

[plain] view plain copy

pip install Twisted-17.1.0-cp36-cp36m-win_amd64.whl

Scrapy-1.3.3-py2.py3-none-any.whl包使用同样的方式安装，只是应该等到其所有依赖的包安装完成后才能进行安装，现在还不能安装
4、scrapy依赖lxml包，需要先安装lxml包，lxml包依赖libxml2，libxml2-devel，所以安装lxmllibxml2， libxml2-devel。幸运的是之前我之前已经安装过lxml
5、所有准备工作做完，终于可以安装scrapy包了，进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录

[plain] view plain copy

pip install Scrapy-1.3.3-py2.py3-none-any.whl

Successfully ! 先别急着撒花，是否真的安装成功了，还需要验证，输入scrapy -h

显示scrapy的相关信息，大功告成，撒花~~~

笔者就一些问题的解决方案展示如下：（高手请忽略）
1.关于lxml，直接在命令框中输入

pip install lxml

即可
2.如果按照上面的流程一步一步来还是出错的时候，这个时候不要灰心，可以考虑以管理员身份重新来一遍，或者在原来的命令框中再来一遍，已经安装过的不会重复安装，所以尽可放心，笔者本来也是错误连连，但是仔细阅读出错信息然后重新安装之后，已经完成安装了。
3.有一个使用的小技巧，如果直接输入文件名字，这个时候可能会出现不存在该文件的错误，这个时候可以打开文件所在文件夹，直接拖入命令框