python从零开始到scrapy框架应用(youtube示例)
python是目前开发爬虫最好的语言,本次爬取youtube视频所需用到:
python环境,scrapy框架,pycharm编译器,mongo数据库
步骤:
1.windows python环境搭建和安装:
进入python官网https://www.python.org/进行下载python3.7,进行安装并配置环境变量
2.安装python编译器pycharm
进入pycharm官网https://www.jetbrains.com 下载pycharm社区版本并安装
3.安装mongodb数据库
进入mongodb官网进行下载https://www.mongodb.com/download-center/community
4.启动cmd通过以下命令安装scrapy框架
pip install scrapy
5..搭建scrapy爬虫框架并使用pycharm打开
通过命令 scrapy startproject youtube 创建爬虫项目,然后切换到youtube目录下创建爬虫文件:scrapy genspider youtubeInfo *使用pycharm打开,项目目录结构如图
6.scrapy各模块介绍:
item.py:用于设置爬虫想要爬取的字段
middlewares.py:中间件文件,用于处理反爬虫的文件,设置代理,异常处理等方式会写在这里面
pipelines.py:管道文件,主要用于数据保存
settings.py:通用配置文件,数据库设置,爬虫协议通常在这里面设置
spiders下的youtubeInfo.py文件:这是编写爬虫的文件,爬虫的爬取规则逻辑都在这里实现
爬虫文件编写完成后,在settings.py中将管道设置打开,通过scrapy crawl youtubeInfo 命令启动爬虫,爬虫数据被保存到mongodb数据库中
6.从mongodb数据库导出csv文件
本文地址:https://blog.csdn.net/he_ranly/article/details/108253759
上一篇: 贡献幽默笑话几则~~哈哈。。
下一篇: 大闸蟹哪里的比较出名?