爬取中国天气网的最高气温并绘制成柱状图

学习视频：

https://www.bilibili.com/video/av96849338?p=39
若有错误，请留言。

代码如下：

# encoding: utf-8
# time: 2020/3/22 16:44
# 说明：爬取中国天气网的最高气温，并将其绘制成柱状图。
# 网页：http://www.weather.com.cn/textFC/hb.shtml
# 总结：难点：ALL_DATA.sort(key=lambda data:data['temp'], reverse=True)


import requests
from bs4 import BeautifulSoup
#绘图模块
from pyecharts.charts import Bar

#存放所有城市的城市对应的最高气温
ALL_DATA = []

def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
    }
    response = requests.get(url)
    #response.text返回乱码，response.content.decode('utf-8')指定编码方式
    text = response.content.decode('utf-8')
    #text解析对象，html5lib解码方式
    soup = BeautifulSoup(text, 'html5lib')
    #conMidtab对应的是该地区下所有的省直辖市
    conMidtab = soup.find('div', class_='conMidtab')
    tables = conMidtab.find_all('table')
    #table为每个省、直辖市
    for table in tables:
        # print(table)
        # print("="*60)
        #tr对应每个城市，前两个tr是表头，所有[2:]
        trs = table.find_all('tr')[2:]
        for tr in trs:
            #td为天气参数
            tds = tr.find_all('td')
            #城市名称
            #天气参数第一个城市有9个td标签，第一个td标签对应省、直辖市
            #后面的城市只有8个td标签，分别对应第一个城市的[1:8],
            # 所以这里采用倒数
            city_td = tds[-8]
            #city_td.stripped_strings是提取city_td下子孙节点非标签字符串，并剔除空白字符，返回的是个生成器
            #list()则将该生成器转换成列表，并[0]提取出来为字符串
            city = list(city_td.stripped_strings)[0]
            # print(city)
            temp_td = tds[-5]
            temp = list(temp_td.stripped_strings)[0]
            #int(temp)，temp对应的温度数字是字符串，如'22',int(temp)将其转换为数字22，便于后面排序
            ALL_DATA.append({'city':city, 'temp':int(temp)})
            # print([{'city':city, 'temp':int(temp)}])


def main():
    urls = {
        'http://www.weather.com.cn/textFC/hb.shtml',
        'http://www.weather.com.cn/textFC/db.shtml',
        'http://www.weather.com.cn/textFC/hd.shtml',
        'http://www.weather.com.cn/textFC/hz.shtml',
        'http://www.weather.com.cn/textFC/hn.shtml',
        'http://www.weather.com.cn/textFC/xb.shtml',
        'http://www.weather.com.cn/textFC/xn.shtml',
        'http://www.weather.com.cn/textFC/gat.shtml'
    }
    for url in urls:
        parse_page(url)

    #sort为排序，lambda为表达式，reverse逆向，默认为False从小到大排序，Ture则从大到小排序
    ALL_DATA.sort(key=lambda data:data['temp'], reverse=True)
    # print(ALL_DATA)
    #将温度前十的信息放到data中
    data = ALL_DATA[0:10]
    cities = list(map(lambda x:x['city'], data))
    temps = list(map(lambda x:x['temp'], data))
    #Bar为绘制柱状图
    chart = Bar()
    #axis轴，x轴为城市名
    chart.add_xaxis(cities)
    #y轴为温度
    chart.add_yaxis("中国天气最高温度排行榜", temps)
    #render回报，即保存到目标文件
    chart.render('hottemperature2.html')

if __name__ == '__main__':
    main()

运行效果：

需要最低气温排名，可修改：ALL_DATA.sort(key=lambda data:data[‘temp’], reverse=True) 为 ALL_DATA.sort(key=lambda data:data[‘temp’]) ，即去除逆向