利用Python爬取国家水稻数据中心的品种数据

• 一.页面获取
  python可以进行对网页的访问，主要用到requests，beautifulsoup4包。
  首先新建一个page的py文件，用来获取页面的数据。

import requests
import bs4
import re
import math

def get_page(url, coding):  # 创建一个函数，用来获取BS4格式的文档，并返回整个页面。
    # 主要有两个参数，url代表网页地址，coding代表页面编码格式
    from fake_useragent import UserAgent # 调用UserAgent 包，获取用户代理头的值，避免被屏蔽。
    ua = UserAgent()
    headers = {"User-Agent": ua.random}
    r = requests.get(url, headers=headers,timeout=15)
    r.encoding = coding  # 用GB2312解码文档
    rt = r.text
    soup = bs4.BeautifulSoup(rt, 'lxml')  # HTML文档字符串  HTML解析器  HTML文档编码
    return soup

def get_numdata(data):  # 创建一个函数，用来接收BS4格式的文档，并返回具体的页数。
    con = data.find_all(name='caption') # 查询文档中 name='caption' 的标签
    com = con[0].next.next  # 查询历年审定品种的数量
    s = re.findall("\d+", com)[0]  # 正则表达式提取数字
    z = math.floor((int(s) - 1) / 35) + 1  # 计算页数,当数字是35的时候，需要-1除以35再+1得到1页
    # 为什么是35，是因为页面中的数据共35行
    return z

def get_head(data):  # 创建一个函数，用来接收BS4格式的文档，并返回Excel的表头。
    Head = data.find_all(name='tr', align="left")  # 查表头：搜索文档中的tr标签，且符合类 align="left" 的tag
    x = Head[0].contents  # 获取标签 tr 的内容
    y = '网址'
    head_1 = [x[0].next.next, x[1].next.next, y, x[2].next.next, x[3].next.next, x[4].next.next, x[5].next.next]
    head_2 = ['全生育期', '株高', '穗长', '每亩有效穗', '每穗总粒数', '结实率', '千粒重',
              '整精米率', '垩白粒率', '垩白度', '直链淀粉含量', '胶稠度', '长宽比']
    head = head_1 + head_2  # 得到Excel表头的list
    return head

def get_province(data):  # 用来获取省份和网址并建立字典
    url2 = 'http://www.ricedata.cn/variety/' # 获取省份的网址前缀
    con = data.find_all(name='a', target="_blank")  # 查省份：搜索文档中的a标签，且target="_blank"的tag
    province = {} # 建立一个代表省份的空字典
    for i in con[:-1]:
        if type(i) is bs4.element.Tag and i.string is not None:
            # 判断字符串的格式且不为空值
            z = i.string.replace(u'\u3000', '') # 省份名称
            y = url2 + i['href'] # 具体的网址
            province[z] = y # 追加数据 省份：网址 到字典province中
        else:
            continue
    province.pop(' ')  # 删除空值，也就是某些不种水稻的省份，如*，香港等
    return province

def get_detailed_data(data):  # 获取每个品种的详细数据
    receive_data1 = str(data.find_all(name='td', colspan="2")[0].contents)
    receive_data = receive_data1.replace("\\r\\n", "")  # 去除字符串中的换行符
    full_growth_period = re.findall('(?<=全生育期)[\d+\.\d]*', receive_data)
    plant_height = re.findall('(?<=株高)[\d+\.\d]*', receive_data)
    spike_length = re.findall('(?<=穗长)[\d+\.\d]*', receive_data)
    effective_panicles_per_acre = re.findall('(?<=每亩有效穗数)[\d+\.\d]*', receive_data)
    grains_per_panicle = re.findall('(?<=每穗总粒数)[\d+\.\d]*', receive_data)
    seed_setting_rate = re.findall('(?<=结实率)[\d+\.\d]*', receive_data)
    thousand_grain_weight = re.findall('(?<=千粒重)[\d+\.\d]*', receive_data)
    head_rice_rate = re.findall('(?<=整精米率)[\d+\.\d]*', receive_data)
    chalky_rice_rate = re.findall('(?<=垩白粒率)[\d+\.\d]*', receive_data)
    chalkiness_degree = re.findall('(?<=垩白度)[\d+\.\d]*', receive_data)
    amylose_content = re.findall('(?<=直链淀粉含量)[\d+\.\d]*', receive_data)
    gel_consistency = re.findall('(?<=胶稠度)[\d+\.\d]*', receive_data)
    length_width_ratio = re.findall('(?<=长宽比)[\d+\.\d]*', receive_data)
    return [full_growth_period, plant_height, spike_length, effective_panicles_per_acre, grains_per_panicle,
            seed_setting_rate, thousand_grain_weight, head_rice_rate, chalky_rice_rate, chalkiness_degree,
            amylose_content, gel_consistency, length_width_ratio]

def get_dedata(de_data):  # 将品种的详细数据转化成一个list
    dedata = []
    for i in de_data:
        if len(i) > 0:
            x = list(filter(None, i))
            # filter()为已知的序列的每个元素调用给定的布尔函数，调用中，返回值为非零的元素将被添加至一个列表中
            if len(x) > 0:
                dedata.append(x[0])
            else:
                dedata.append(None)
        else:
            dedata.append(None)
    return dedata

• 二.数据处理
  然后新建一个 rdata 的 py 文件，用来处理数据。

def get_rice(num, data):  # 该函数用来从data中获取35行水稻数据
    url = 'http://www.ricedata.cn/variety'
    data1 = data[num + 0].text  # 序号
    data2 = data[num + 1].text  # 品种
    data3 = url + str(data[num + 1].contents[0]['href'][2:])  # 网址
    data4 = data[num + 2].text  # 亲本来源
    data5 = data[num + 3].text  # 类型
    data6 = data[num + 4].text  # 选育单位
    data7 = data[num + 5].text  # 审定编号
    return data1, data2, data3, data4, data5, data6, data7

def get_ricedata(ricedata): # 该函数用来获取每一行的数据
    x = []
    count = 0
    data_len = len(ricedata)
    while count + 5 < data_len:
        for i in get_rice(num=count, ricedata=data):
            x.append(i)
        count += 6 # count+6表示每一行有6个数据
    return x

def get_data(soup):  # 用来查询品种数据，页面的品种的行和列
    soup_data = soup.find_all('td', style="border-top:dotted silver 1px")
    data = get_ricedata(data=soup_data)
    return data

• 三.数据保存
  新建一个 rice.py 的文件
  将爬取到的数据保存到Excel中， 具体的路径为rice.py的文件所在的路径。

import datetime
import xlwt
import page
import rdata
import time
import os

print('请求数据')
url = 'http://www.ricedata.cn/variety/index.htm'
pro_data = page.get_page(url=url, coding='utf-8')
pro = page.get_province(data=pro_data)
workbook = xlwt.Workbook(encoding='utf-8')  # 创建一个workbook 设置编码

for key, value in pro.items():
    starttime = datetime.datetime.now()  # 计算当前循环的开始时间
    # print(key+':'+value)
    worksheet = workbook.add_sheet(key)  # 创建一个worksheet
    start_data = page.get_page(url=value, coding='GB2312')  # 确定省份的起始页码
    head = page.get_head(data=start_data)  # 确定省份页的表头
    ncolumn = len(head)  # 计算一共有多少列
    for i in range(1, ncolumn):
        worksheet.write(0, i, label=head[i])  # 把表头写入到Excel中
    for pages in range(page.get_numdata(data=start_data)):
        url_1 = value[:-5] + str(pages + 1) + '.htm'
        print('正在查询第', str(pages + 1), '页')
        page_data = page.get_page(url=url_1, coding='GB2312')  # 获取当前页面数据
        num_data = page.get_numdata(data=page_data)  # 获取当前页面的页数
        rice_data = rdata.get_data(soup=page_data)  # 获取当前页面35行品种数据,就是单元格的数量
        n = int(len(rice_data) / 7)  # 列表中的数据是每一行有7列，页面的总行数=总单元格数/7
        for x in range(1, n + 1):  # 写入excel
            z_data = page.get_page(url=rice_data[(x - 1) * 7 + 2], coding='GB2312')
            pz_data = page.get_detailed_data(data=z_data)
            dedata = page.get_dedata(de_data=pz_data)
            row = pages * 35 + x  # 第**行
            for y in range(1, ncolumn + 1):
                if y - 1 == 2:  # 判断是否是第3列，如果是则将网址改变成超链接的格式。
                    rd = rice_data[(x - 1) * 7 + y - 1]  # 单元格数据
                    colum = head[y - 1]  # 第**列
                    worksheet.write(row, y - 1, label=xlwt.Formula(
                        "HYPERLINK" + '("' + rd + '";"' + rd + '")'))  # 参数对应 行, 列, 值
                    print("{0:^6}\t{1:{2}<12}".format(str(pages * 35 + x), colum, chr(12288)),rd)
                elif y - 1 > 6:  # 当单元格的列数在第7行之后，需要获取 具体品种 网址内品种数据
                    rd = dedata[y - 8]  # 单元格数据
                    colum = head[y - 1]  # 第**列
                    worksheet.write(row, y - 1, label=rd)
                    print("{0:^6}\t{1:{2}<12}".format(row, head[y - 1], chr(12288)),rd)
                else:
                    rd = rice_data[(x - 1) * 7 + y - 1]  # 单元格数据
                    colum = head[y - 1]  # 第**列
                    worksheet.write(row, y - 1, label=rd)  # 参数对应 行, 列, 值
                    print("{0:^6}\t{1:{2}<12}".format(row, head[y - 1], chr(12288)),rd)
    endtime = datetime.datetime.now()  # 计算当前循环的结束时间
    print(key, '的品种数据写入完成', '耗时：', (endtime - starttime).seconds, '秒')
    print('等待5秒后继续下一个省份')
    time.sleep(5)
dirs = os.getcwd() # 获取页面的
filename = dirs + '\\品种数据.xls'
workbook.save(filename)  # 保存
print('保存完毕,文件路径为:', filename)
time.sleep(2)

实际获取的数据如下：

import sys; print('Python %s on %s' % (sys.version, sys.platform))
sys.path.extend(['C:\\Python\\PycharmProjects', 'C:/Python/PycharmProjects'])
PyDev console: starting.
Python 3.6.6 (v3.6.6:4cf1f54eb7, Jun 27 2018, 02:47:15) [MSC v.1900 32 bit (Intel)] on win3
请求数据
正在查询第 1 页
  1   	序号　　　　　　　　　　 1
  1   	品种名称　　　　　　　　 韵两优827
  1   	网址　　　　　　　　　　 http://www.ricedata.cn/variety/varis/618369.htm
  1   	亲本来源（"×"前为母本） 韵2013S×R827
  1   	类型　　　　　　　　　　 籼型两系杂交稻
  1   	原产地/选育单位　　　　 袁隆平农业高科技股份有限公司等
  1   	审定编号　　　　　　　　 国审稻20186143
  1   	全生育期　　　　　　　　 116.0
  1   	株高　　　　　　　　　　 107.6
  1   	穗长　　　　　　　　　　 23.6
  1   	每亩有效穗　　　　　　　 18.5
  1   	每穗总粒数　　　　　　　 163.3
  1   	结实率　　　　　　　　　 81.4
  1   	千粒重　　　　　　　　　 23.4
  1   	整精米率　　　　　　　　 66.4
  1   	垩白粒率　　　　　　　　 15
  1   	垩白度　　　　　　　　　 3.7
  1   	直链淀粉含量　　　　　　 15.6
  1   	胶稠度　　　　　　　　　 71
  1   	长宽比　　　　　　　　　 3.1