欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

ubuntu 16.04 安装 Scrapy

程序员文章站 2022-03-02 23:23:41
...

写爬虫首选Python,Python爬虫框架首选Scrapy。
-- 沃滋基 索德

Scrapy官网 在醒目的地方告诉我们,只需要一条命令即可安装Scrapy:
pip install scrapy

也许大部分人一下子就安装完成并且成功启动了,而我遇到了坑。

首先是

build/temp.linux-x86_64-2.7/_openssl.c:429:30: fatal error: 
openssl/opensslv.h: 没有那个文件或目录
compilation terminated.
error: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1

是因为有依赖没有解决,使用
sudo apt-get install libssl-dev
即可补全依赖

然后是找不到scrapy命令,根据 ubuntu-cant-find-scrapy 提供的方法解决,即先找到scrapy的命令位置,再添加到path中。作为参考,我的是在~/.local/bin中找到的,添加即可
export PATH=$PATH:~/.local/bin

参考:

  1. python2 安装scrapy问题解决方法

  2. ubuntu-cant-find-scrapy

  3. scrapy 部分中文文档