欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Ubuntu16.04 64位安装 Scrapy环境

程序员文章站 2022-05-09 22:00:51
...

运用场景

我们在自己的服务器上部署自己的爬虫项目时,必须要配置好环境才可以进行运行的。
1. 创建虚拟环境
2. 安装Scrapy包

创建虚拟环境

1. 安装虚拟环境
      pip install virtualenv
2. 使用virtualenvwrapper管理我们的虚拟环境
      ①.新建虚拟环境:              mkvirtualenv Scrapy(虚拟环境名字)
      ②.进入虚拟环境并**

安装Scrapy相关的包

 Scrapy的相关依赖包比较多,所以我们先安装依赖包
 python3.5 -dev 、OpenSSL、Twisted
 主要问题出在这三个包上面所以 我们应该先将这三个包装好在进行安装Scrapy
  
1. Python 3.5 -dev 这个源码包
        直接可以使用 apt-get python3-dev 进行安装,如果报错的话一般就是apt的版本太旧,需要更新一下版本就可以安装啦(sudo apt update)
 2. OpenSSL 
        这个包是通过安装Scrapy 的安装的得到的
 3. twisted
        上边两个安装完成以后就可以直接用pip install 进行安装

依赖包装完以后,直接安装Scrapy

   pip install scrapy