scrapy 安装_Python 爬虫之Scrapy入门实践指南(Scrapy安装指南)
程序员文章站
2022-05-07 17:45:23
...
【小宅按】今天来分享一下Python 爬虫之Scrapy入门实践指南(Scrapy的安装指南),小伙伴们有什么想法可以在评论区留言交流哦。
Scrapy安装
建议在所谓的“虚拟环境”(virtualenv、conda)中安装scrapy 。它们允许我们不与已安装的Python系统包冲突(可能会破坏我们的一些系统工具和脚本),并且仍然可以使用pip
来进行包的安装。
如果使用的是Linux或OS X,virtualenvwrapper是一个创建virtualenvs的便利工具。
事实上:我们可以在virtualenv环境下安装conda,但是最好用conda自己的环境工具,这样会和pip有更好的兼容性
我们可以在virtualenv里面安装conda:
$ virtualenv test_conda$ source test_conda/bin/activate$ pip install conda$ conda install numpy
也可以在conda中造虚拟环境:
$ conda create -n yourenvname python=x.x anaconda$ source activate yourenvname
Anaconda 简单入门
使用Anaconda安装Scarapy
如果使用的是Anaconda或Miniconda,则可以通过conda- forge来安装Scrapy软件包,该软件包具有适用于Linux,Windows和OS X的最新软件包。
要使用安装Scrapy conda,请运行:
conda install -c conda-forge scrapy
使用Pip安装Scrapy
如果已经熟悉Python包的安装,则可以使用以下命令从PyPI安装Scrapy及其依赖项:
pip install Scrapy
注意:
有时可能需要根据操作系统来解决某些Scrapy依赖项的编译问题,因此请务必查看特定于平台的安装说明。当然最好的解决方式就是专用的virtualenv中安装Scrapy ,以避免与系统软件包冲突。
小知识
Scrapy是用纯Python编写的,以下为Scrapy框架常用关键的Python包:
- lxml:一个高效的XML和HTML解析器;
- parsel:是一个使用XPath和CSS选择器从HTML和XML中提取数据的库;
- w3lib:一个用于处理URL和网页编码的多用途帮助程序;
- twisted:一个异步网络框架;
- cryptography和pyOpenSSL:用于处理各种网络级安全需求。
更多精彩内容,请滑至顶部点击右上角关注小宅哦~
来源:华为云原创 作者:陈宝佳
推荐阅读
-
零基础写python爬虫之爬虫框架Scrapy安装配置
-
Python爬虫框架Scrapy安装使用步骤
-
Python之Scrapy爬虫框架安装及简单使用详解
-
python爬虫入门(六) Scrapy框架之原理介绍
-
Python学习笔记3--爬虫框架scrapy 安装和基本命令行
-
详解Python网络框架Django和Scrapy安装指南
-
Python之Scrapy爬虫框架安装及使用详解
-
Python爬虫框架Scrapy安装使用步骤
-
零基础写python爬虫之爬虫框架Scrapy安装配置
-
Python 工具 之 Scrapy 环境搭建(Twisted插件下载安装),以及 Scrapy 框架的简单使用说明