欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【爬虫系列之一】爬虫开发环境的搭建

程序员文章站 2022-06-17 10:25:56
...

当前python分为2.x版本,以及3.x版本,这两个版本相互直接是不兼容的,但是当前世面的主流web或者程序还是2.x偏多,所以我这边主要是2.x版本为基础,确切地说,是2.7版本。

下面来说说 如何安装开发环境以及开发工具

一、环境的安装

MAC上安装python

如果你正在使用Mac,系统是10.13.3,系统自带了Python 2.7。这边也可以在直接在终端输入如下命令,看是否存在python以及python版本

  ~ python --version
Python 2.7.10
  ~

如果需要安装python3,则执行以下命令

➜ ~ brew install python

注意:

  • 安装Python2.7以上版本,会自动带pip。
  • Python3高版本自带pip3
  • MAC自带的python是没有pip,此时需要如果需要使用,请执行
// 给系统的python安装pip
➜  ~ sudo easy_install pip

LINUX上安装python

#安装依赖
➜  ~ yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel

#下载python2.7
➜  ~ wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

➜  ~ mkdir /software
➜  ~ mv Python-2.7.13.tgz /software
➜  ~ cd /software
➜  ~ tar -zxf Python-2.7.13.tgz

➜  ~ cd Python-2.7.13/
➜  ~ ./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
➜  ~ make
➜  ~ make altinstall

# 备份旧python相关命令
➜  ~ mv /usr/bin/pip /usr/bin/pip_old
➜  ~ mv /usr/bin/easy_install /usr/bin/easy_install_old
➜  ~ mv /usr/bin/python /usr/bin/python_old

# 新版本python命令做软连接,快捷使用
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib
➜  ~ ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib64
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib64

# 下载最新版的pip,然后安装
➜  ~ cd /software
➜  ~ wget https://bootstrap.pypa.io/get-pip.py
➜  ~ python get-pip.py
➜  ~ ln -s /usr/local/python2.7/bin/pip /usr/bin/pip

# 查找pip的位置
➜  ~ find / -name pip

在windows上面安装

从Python的官方网站python.org下载最新的2.7版本

然后,运行下载的MSI安装包,在选择安装组件的一步时,勾上所有的组件:、

【爬虫系列之一】爬虫开发环境的搭建

特别要注意选上pip和Add python.exe to Path,然后一路点“Next”即可完成安装。

默认会安装到C:Python27目录下,然后打开命令提示符窗口,敲入python后,就会出现>>>提示符

二、开发工具的安装

不论是mac还是windows都是,从pycharm官网下载该工具,然后傻瓜式安装,打开需要**,有多余经费的娃子们,推荐购买正版,穷人可以考虑加群:725479218 获取 pycharm** 的 **方式
【爬虫系列之一】爬虫开发环境的搭建