欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python正则匹配抓取豆瓣电影链接和评论代码分享

程序员文章站 2022-05-30 20:33:29
复制代码 代码如下:import urllib.requestimport reimport time def movie(movietag):  &...

复制代码 代码如下:

import urllib.request
import re
import time

def movie(movietag):

    tagurl=urllib.request.urlopen(url)
    tagurl_read = tagurl.read().decode('utf-8')
    return tagurl_read

def subject(tagurl_read):

    '''
        这里还存在问题:
        ①这只针对单独的一页进行排序,而没有对全部页面的电影进行排序
        ②下次更新添加电影链接,考虑添加电影海报
        ③需要追加列表
        ④导入到本地txt或excel中
        ⑤在匹配电影名字时是否可以同时匹配链接与名字、评分、评论组成数组
        ⑥
    '''
#正则表达式匹配电影的名字(链接)、评分与评论   
    nameurl = re.findall(r'(http://movie.douban.com/subject/[0-9.]+)\/"\s+title="(.+)"',tagurl_read)
    scoreurl = re.findall(r'<span\s+class="rating_nums">([0-9.]+)<\/span>',tagurl_read)
    evaluateurl = re.findall(r'<span\s+class="pl">\((\w+)人评价\)<\/span>',tagurl_read)
    movielists = list(zip(nameurl,scoreurl,evaluateurl))
    newlist.extend(movielists)
    return newlist

#用quote处理特殊(中文)字符
movie_type = urllib.request.quote(input('请输入电影类型(如剧情、喜剧、悬疑):'))
page_end=int(input('请输入搜索结束时的页码:'))
num_end=page_end*20
num=0
page_num=1
newlist=[]
while num<num_end:
    url=r'http://movie.douban.com/tag/%s?start=%d'%(movie_type,num)
    movie_url = movie(url)
    subject_url=subject(movie_url)
    num=page_num*20
    page_num+=1
else:
    #使用sorted函数对列表进行排列,reverse参数为true时升序,默认或false时为降序, key=lambda还不是很明白这里的原理
    movielist = sorted(newlist, key=lambda movielist : movielist[1],reverse = true)
    for movie in movielist:
        print(movie)

time.sleep(3)

print('结束')