Python爬虫之Scrapy天气预报实战

程序员文章站 2022-06-27 21:03:16

目的写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。PS注意：很多人学Python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个Python全栈免费答疑.裙：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，不懂的问题有老司机解 ......

目的

写一个真正意义上一个爬虫，并将他爬取到的数据分别保存到txt、json、已经存在的mysql数据库中。
ps注意：很多人学python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个python全栈免费答疑.裙：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，不懂的问题有老司机解决里面还有最新python实战教程免非下,，一起相互监督共同进步！

目标分析：

这次我们要爬的是中国天气网：
随便点开一个城市的天气比如合肥：
我们要爬取的就是图中的：合肥七天的前期预报：

数据的筛选：

我们使用chrome开发者工具，模拟鼠标定位到相对应位置:

可以看到我们需要的数据，全都包裹在

<ul class="t clearfix">

里
我们用bs4、xpath、css之类的选择器定位到这里，再筛选数据就行。
本着学习新知识的原则，文中的代码将会使用xpath定位。
这里我们可以这样：

response.xpath('//ul[@class="t clearfix"]')

scrapy 框架的实施：

创建scrapy项目和爬虫：

$ scrapy startproject weather
$ cd weather
$ scrapy genspider hftianqi www.weather.com.cn/weather/101220101.shtml

这样我们就已经将准备工作做完了。
看一下当前的目录：

.
├── scrapy.cfg
└── weather
    ├── __init__.py
    ├── __pycache__
    │   ├── __init__.cpython-36.pyc
    │   └── settings.cpython-36.pyc
    ├── items.py
    ├── middlewares.py
    ├── pipelines.py
    ├── settings.py
    └── spiders
        ├── hftianqi.py
        ├── __init__.py
        └── __pycache__
            └── __init__.cpython-36.pyc

4 directories, 11 files

编写items.py:

这次我们来先编写items,十分的简单，只需要将希望获取的字段名填写进去：

import scrapy
    
class weatheritem(scrapy.item):
    # define the fields for your item here like:
    # name = scrapy.field()
    date = scrapy.field()
    temperature = scrapy.field()
    weather = scrapy.field()
    wind = scrapy.field()

编写spider:

这个部分使我们整个爬虫的核心!!

主要目的是：

将downloader发给我们的response里筛选数据，并返回给pipeline处理

下面我们来看一下代码：

# -*- coding: utf-8 -*-
import scrapy
    
from weather.items import weatheritem
    
class hftianqispider(scrapy.spider):
    name = 'hftianqi'
    allowed_domains = ['www.weather.com.cn/weather/101220101.shtml']
    start_urls = ['http://www.weather.com.cn/weather/101220101.shtml']
    
    def parse(self, response):
        '''
        筛选信息的函数：
        date = 日期
        temperature = 当天的温度
        weather = 当天的天气
        wind = 当天的风向
        '''
    
        # 先建立一个列表，用来保存每天的信息
        items = []
    
        # 找到包裹着天气信息的div
        day = response.xpath('//ul[@class="t clearfix"]')
    
        # 循环筛选出每天的信息：
        for i  in list(range(7)):
            # 先申请一个weatheritem 的类型来保存结果
            item = weatheritem()
        
            # 观察网页，并找到需要的数据
            item['date'] = day.xpath('./li['+ str(i+1) + ']/h1//text()').extract()[0]
    
            item['temperature'] = day.xpath('./li['+ str(i+1) + ']/p[@class="tem"]/i/text()').extract()[0]
            
            item['weather'] = day.xpath('./li['+ str(i+1) + ']/p[@class="wea"]/text()').extract()[0]
            
            item['wind'] = day.xpath('./li['+ str(i+1) + ']/p[@class="win"]/em/span/@title').extract()[0] + day.xpath('./li['+ str(i+1) + ']/p[@class="win"]/i/text()').extract()[0]
            
            items.append(item)
            
        return items

编写pipeline：

我们知道，pipelines.py是用来处理收尾爬虫抓到的数据的，
一般情况下，我们会将数据存到本地：

文本形式：最基本的存储方式
json格式：方便调用
数据库：数据量比较大时选择的存储方式

txt（文本）格式：

import os
import requests
import json
import codecs
import pymysql
    
class weatherpipeline(object):
    def process_item(self, item, spider):
    
        print(item)
        # print(item)
        # 获取当前工作目录
        base_dir = os.getcwd()
        # 文件存在data目录下的weather.txt文件内，data目录和txt文件需要自己事先建立好
        filename = base_dir + '/data/weather.txt'
    
        # 从内存以追加的方式打开文件，并写入对应的数据
        with open(filename, 'a') as f:
            f.write(item['date'] + '\n')
            f.write(item['temperature'] + '\n')
            f.write(item['weather'] + '\n')
            f.write(item['wind'] + '\n\n')
    
        return item

json格式数据：

我们想要输出json格式的数据，最方便的是在pipeline里自定义一个class：

class w2json(object):
    def process_item(self, item, spider):
        '''
        讲爬取的信息保存到json
        方便其他程序员调用
        '''
        base_dir = os.getcwd()
        filename = base_dir + '/data/weather.json'
    
        # 打开json文件，向里面以dumps的方式吸入数据
        # 注意需要有一个参数ensure_ascii=false ，不然数据会直接为utf编码的方式存入比如:“/xe15”
        with codecs.open(filename, 'a') as f:
            line = json.dumps(dict(item), ensure_ascii=false) + '\n'
            f.write(line)
    
        return item

数据库格式（mysql）:

python对市面上各种各样的数据库的操作都有良好的支持，
但是现在一般比较常用的免费数据库mysql。

在本地安装mysql：

linux和mac都有很强大的包管理软件，如apt，brew等等

window 可以直接去官网下载安装包。

由于我是mac，所以我是说mac的安装方式了。
```
$ brew install mysql
```
在安装的过程中，他会要求你填写root用户的密码，

这里的root并不是系统层面上的超级用户，是mysql数据库的超级用户。
安装完成后mysql服务是默认启动的，
如果重启了电脑，需要这样启动（mac）：
```
$ mysql.server start
```

登录mysql并创建scrapy用的数据库:

# 登录进mysql
$ mysql -uroot -p

# 创建数据库：scrapydb ,以utf8位编码格式，每条语句以’；‘结尾
create database scrapydb character set 'utf8';

# 选中刚才创建的表：
use scrapydb；

# 创建我们需要的字段：字段要和我们代码里一一对应，方便我们一会写sql语句
create table weather(
id int auto_increment,
date char(24),
temperature char(24),
weather char(24),
wind char(24),
primary key(id) )engine=innodb default charset='utf8'

来看一下weather表长啥样：

show columns from weather
或者：desc weather

安装python的mysql模块：

pip install pymysql

最后我们编辑与一下代码：

class w2mysql(object):
    def process_item(self, item, spider):
        '''
        将爬取的信息保存到mysql
        '''

        # 将item里的数据拿出来
        date = item['date']
        temperature = item['temperature']
        weather = item['weather']
        wind = item['wind']

        # 和本地的scrapydb数据库建立连接
        connection = pymysql.connect(
            host='127.0.0.1',  # 连接的是本地数据库
            user='root',        # 自己的mysql用户名
            passwd='********',  # 自己的密码
            db='scrapydb',      # 数据库的名字
            charset='utf8mb4',     # 默认的编码方式：
            cursorclass=pymysql.cursors.dictcursor)

        try:
            with connection.cursor() as cursor:
                # 创建更新值的sql语句
                sql = """insert into weather(date,temperature,weather,wind)
                        values (%s, %s, %s, %s)"""
                # 执行sql语句
                # excute 的第二个参数可以将sql缺省语句补全，一般以元组的格式
                cursor.execute(
                    sql, (date, temperature, weather, wind))

            # 提交本次插入的记录
            connection.commit()
        finally:
            # 关闭连接
            connection.close()

        return item

编写settings.py

我们需要在settings.py将我们写好的pipeline添加进去，
scrapy才能够跑起来

这里只需要增加一个dict格式的item_pipelines，
数字value可以自定义，数字越小的优先处理

bot_name = 'weather'

spider_modules = ['weather.spiders']
newspider_module = 'weather.spiders'

robotstxt_obey = true

item_pipelines = {
   'weather.pipelines.weatherpipeline': 300,
   'weather.pipelines.w2json': 400,
   'weather.pipelines.w2mysql': 300,
}

让项目跑起来：
```
$ scrapy crawl hftianqi
```
结果展示:

文本格式：

json格式：

数据库格式：

这次的例子就到这里了，主要介绍如何通过自定义pipeline来将爬取的数据以不同的方式保存。注意：很多人学python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个python全栈免费答疑.裙：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，不懂的问题有老司机解决里面还有最新python实战教程免非下,，一起相互监督共同进步！

本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

上一篇： Devops知识技能树（改）

下一篇： HTTP服务器、Servlet容器、Tomcat

Python爬虫之Scrapy天气预报实战

目的

目标分析：

数据的筛选：

scrapy 框架的实施：

python爬虫之xpath的基本使用详解

Python爬虫【解析库之pyquery】

Python爬虫实现抓取腾讯视频所有电影【实战必学】

Python爬虫之cookie的获取、保存和使用【新手必学】

小白学 Python 爬虫：自动化测试框架 Selenium 从入门到实战

Python爬虫实战：批量下载网站图片

python爬虫之解析库正则表达式

爬虫之scrapy框架

Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy

python爬虫之urllib,伪装,超时设置,异常处理的方法