学习 scrapy 第一课

安装
直接使用pycharm安装的步骤

File -> Setting -> project:yourProjectName -> 点击加号 ->输入你需要的包（我这里输入 scrapy）

然后直接安装即可，如果出现下面的报错

说明是超时了，这大概率上是pip源的问题。可以搜索 pip更换国内源 的方案进行解决。在更换好源之后，我再次执行，发生的错误就发生了变化

可见，pip源超时的问题已经解决掉了。好了，以上内容只是常见包的安装手段，对于scrapy我使用的是其他办法安装完成的。

如果在报错信息中，你会找到

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

这样的信息，你需要到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件，例如我的python版本是 3.6.2，所以我下载了这两个文件，

来到下载页，

执行

报错说

ERROR: Twisted-19.2.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

可是，我记得我应该是64位操作系统才对

原来是，这里的 win32和win_amd64 的理解有问题，

Win32 -> 指的就是Windows系统；
64 bit- > 指的是Windows是64位的；
AMD64 -> 指的就是 CPU是x64的

我的电脑首先应该满足的是windows系统，所以应该使用 Twisted-19.2.0-cp36-cp36m-win32.whl 安装 Twisted

那么如何理解 amd64那个包呢？

因为python有很多native的包，就是不是纯python代码，用了诸如c/c++的代码，然后编译成库给py文件调用的，这样在安装的时候就要区分包的平台：库在windows上多是dll，在linux等是so，在macos是dylib。win-amd64就是CPU是AMD64兼容的架构并在windows上运行，win是windows，还可以有其他比如darwin是macos，linux是linux；amd64是CPU平台，还可能有arm，x86，x86_64等的

然后使用pip安装 scrapy就可以了，安装完成的截图如下：

我这里使用了 pip临时源

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

值得提醒的是，每个人在安装的过程中可能都会遇到不同的报错信息。所以我们需要掌握的是找到错误关键字儿，然后到百度或者谷歌上面搜索即可。例如，我在之前安装 scrapy的时候，

出现了这样的错误，那么就把这个error原封不动拿到搜索引擎里面去搜索就行了。据我观察，这种错误普遍在报错信息的末尾或者开头，从上面的例子中可以看到，超时异常实际上是在报错信息开头打印的。