欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy 安装_Python 爬虫之Scrapy入门实践指南(Scrapy安装指南)

程序员文章站 2022-05-07 17:45:23
...

【小宅按】今天来分享一下Python 爬虫之Scrapy入门实践指南(Scrapy的安装指南),小伙伴们有什么想法可以在评论区留言交流哦。

Scrapy安装

建议在所谓的“虚拟环境”(virtualenvconda)中安装scrapy 。它们允许我们不与已安装的Python系统包冲突(可能会破坏我们的一些系统工具和脚本),并且仍然可以使用pip来进行包的安装。

如果使用的是Linux或OS X,virtualenvwrapper是一个创建virtualenvs的便利工具。

事实上:我们可以在virtualenv环境下安装conda,但是最好用conda自己的环境工具,这样会和pip有更好的兼容性

我们可以在virtualenv里面安装conda:

$ virtualenv test_conda$ source test_conda/bin/activate$ pip install conda$ conda install numpy

也可以在conda中造虚拟环境:

$ conda create -n yourenvname python=x.x anaconda$ source activate yourenvname

Anaconda 简单入门

使用Anaconda安装Scarapy

如果使用的是Anaconda或Miniconda,则可以通过conda- forge来安装Scrapy软件包,该软件包具有适用于Linux,Windows和OS X的最新软件包。

要使用安装Scrapy conda,请运行:

conda install -c conda-forge scrapy

使用Pip安装Scrapy

如果已经熟悉Python包的安装,则可以使用以下命令从PyPI安装Scrapy及其依赖项:

pip install Scrapy

注意:

有时可能需要根据操作系统来解决某些Scrapy依赖项的编译问题,因此请务必查看特定于平台的安装说明。当然最好的解决方式就是专用的virtualenv中安装Scrapy ,以避免与系统软件包冲突。

小知识

Scrapy是用纯Python编写的,以下为Scrapy框架常用关键的Python包:

  • lxml:一个高效的XML和HTML解析器;
  • parsel:是一个使用XPath和CSS选择器从HTML和XML中提取数据的库;
  • w3lib:一个用于处理URL和网页编码的多用途帮助程序;
  • twisted:一个异步网络框架;
  • cryptographypyOpenSSL:用于处理各种网络级安全需求。

更多精彩内容,请滑至顶部点击右上角关注小宅哦~

scrapy 安装_Python 爬虫之Scrapy入门实践指南(Scrapy安装指南)

来源:华为云原创 作者:陈宝佳

相关标签: scrapy 安装