欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python从零开始到scrapy框架应用(youtube示例)

程序员文章站 2022-09-21 08:39:16
python是目前开发爬虫最好的语言,本次爬取youtube视频所需用到: python环境,scrapy框架,pycharm编译器,mongo数据库步骤:1.windows python环境搭建和安装: 进入python官网https://www.python.org/进行下载python3.7,进行安装并配置环境变量2.安装python编译器pycharm 进入pycharm官网https://www.jetbrains.com 下载pycharm社区版本并安装3.安装m......

python是目前开发爬虫最好的语言,本次爬取youtube视频所需用到:

python环境,scrapy框架,pycharm编译器,mongo数据库

步骤:

1.windows python环境搭建和安装:
进入python官网https://www.python.org/进行下载python3.7,进行安装并配置环境变量

2.安装python编译器pycharm
进入pycharm官网https://www.jetbrains.com 下载pycharm社区版本并安装

3.安装mongodb数据库

进入mongodb官网进行下载https://www.mongodb.com/download-center/community


4.启动cmd通过以下命令安装scrapy框架
pip install scrapy

5..搭建scrapy爬虫框架并使用pycharm打开
通过命令 scrapy startproject youtube 创建爬虫项目,然后切换到youtube目录下创建爬虫文件:scrapy genspider youtubeInfo *使用pycharm打开,项目目录结构如图

python从零开始到scrapy框架应用(youtube示例)

6.scrapy各模块介绍:

item.py:用于设置爬虫想要爬取的字段

python从零开始到scrapy框架应用(youtube示例)

middlewares.py:中间件文件,用于处理反爬虫的文件,设置代理,异常处理等方式会写在这里面

python从零开始到scrapy框架应用(youtube示例)

pipelines.py:管道文件,主要用于数据保存

python从零开始到scrapy框架应用(youtube示例)

settings.py:通用配置文件,数据库设置,爬虫协议通常在这里面设置

python从零开始到scrapy框架应用(youtube示例)

spiders下的youtubeInfo.py文件:这是编写爬虫的文件,爬虫的爬取规则逻辑都在这里实现

python从零开始到scrapy框架应用(youtube示例)

爬虫文件编写完成后,在settings.py中将管道设置打开,通过scrapy crawl youtubeInfo 命令启动爬虫,爬虫数据被保存到mongodb数据库中

python从零开始到scrapy框架应用(youtube示例)

6.从mongodb数据库导出csv文件

python从零开始到scrapy框架应用(youtube示例)

本文地址:https://blog.csdn.net/he_ranly/article/details/108253759

相关标签: 爬虫技术 python