爬取中国大学排名（前567）

import requests
from bs4 import BeautifulSoup
import re
allUniv = []

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""



findpaiming = re.compile(r'[\u4e00-\u9fa5]+')
findshuzi = re.compile(r'\d\d\d+\.\d|\d\d\d')
def fillUnivList(soup):
    paiming = 1
    for item in soup.find_all('tr'): #遍历tr开头的，从而用tr将各个学校的信息分开
        item = str(item)
        link = re.findall(findpaiming,item) #利用正则表达式，找出中文字符串【学校，省市，培养规模】
        link2 = re.findall(findshuzi, item) #利用正则表达式，找出三个数字或者四个数字带小数点，也就是学校的总分
        if(len(link)==3): #因为存在中国地质大学 武汉这种，会把中国地质大学 和 武汉 分别提取成文字
            link.append(paiming) #增加排名
            if(len(link2)<=2): #这个是总分，但是存在将文本里面超过100排名的数字提出，从而存在两个数字，等于1直接假如，等于2加入第二个值
                if(len(link2)==1):
                    link.append(link2[0])
                else:
                    link.append((link2[1]))
            allUniv.append(link) #最后将整个学校信息加入到allUniv里面，下面同理
            paiming = paiming + 1
        if (len(link) == 4): #因为存在中国地质大学 武汉这种，会把中国地质大学 和 武汉 分别提取成文字 ，合并这着两个值
            data = [str(link[0])+'('+str(link[1])+')',link[2],link[3]]
            data.append(paiming)
            if (len(link2) <= 2):
                if (len(link2) == 1):
                    data.append(link2[0])
                else:
                    data.append((link2[1]))
            allUniv.append(data)
            paiming = paiming + 1



def printUnivList(num):
    print("{:^4}{:^10}{:^5}{:^8}{:^10}".format("排名",'学校名称','省市','总分','培养规模'))
    for i in range(num):
        u = allUniv[i]
        print("{:^4}{:^10}{:^5}{:^8}{:^10}".format(u[3],u[0],u[1],u[4],u[2]))


def main(num):
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    html = getHTMLText(url)
    soup = BeautifulSoup(html,'html.parser')
    fillUnivList(soup)
    printUnivList(num)
main(567)

 

本文地址：https://blog.csdn.net/qq_34024346/article/details/110921267