scrapy环境搭建(一)-linux
系统环境:Redhat6.5系统
1、添加scrapy环境依赖
yum install -y python-devel libxml2 zlib-devel bzip2-devel xz-libs xz wget git tar gcc gcc-c++ openssl openssl-devel pcre-devel python-devel libevent automake autoconf libtool make git sqlite-devel
2、升级python
Redhat6.5 自带python2.6.6,scrapy最新版基于python2.7,需升级到python2.7.12
可到 https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz 下载
解压并安装
wget https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz tar -xvf Python-2.7.12.tar cd Python-2.7.12 ./configure --prefix=/usr/local/python2.7.12 make && make install
修改系统默认python为最新安装版本
mv /usr/bin/python /usr/bin/python2.6.6 ln -s /usr/local/python2.7.12/bin/python2.7 /usr/bin/python
使用最新版python可能会导致系统的yum功能出现故障,需恢复yum的python指向
vim /usr/bin/yum 将 #!/usr/bin/python 修改为 #!/usr/bin/python2.6.6
3、安装setuptools
在 https://pypi.python.org/ 网站上搜索 setuptools 的安装包,本人下载安装的是 setuptools-26.0.0.tar.gz
解压后安装
cd setuptools-26.0.0 python setup.py install
4、安装pip
在 https://pypi.python.org/ 网站上搜索 pip 的安装包,本人下载安装的是 pip-8.1.2.tar.gz
解压后安装
cd pip-8.1.2 python setup.py install
5、设置python的命令直接使用
vim /etc/profile 添加python的路径 export PATH=$HOME/bin:/usr/local/python2.7.12/bin:/usr/local/bin:$PATH 修改完毕后重新加载生效 source /etc/profile
6、安装scrapy
pip install Scrapy
至此scrapy就可以使用了。
上一篇: win7环境scrapy集成selenium爬取动态网页
下一篇: pycharm设置注释颜色的方法
推荐阅读
-
linux烧写、配置、搭建Edison环境
-
SpringBoot环境搭建及第一个程序运行(小白教程)
-
Linux+php+apache+oracle环境搭建之CentOS下安装Oracle数据库
-
editplus和mingw一起搭建c/c++开发环境的详细步骤
-
Linux环境搭建及基础操作
-
CentOS7 LNMP+phpmyadmin环境搭建 第一篇虚拟机及centos7安装
-
VMware中linux环境下oracle安装图文教程(一)
-
[微信公众平台开发]php开发环境搭建设置(一)
-
Linux下Android开发环境搭建详细步骤
-
一行代码在Linux服务器上搭建基于.Net Core的博客