爬取豆瓣电影分类排行榜中的电影详情数据

1 需求

爬取豆瓣电影分类排行榜中的电影详情数据，并实现动态持续化存储。

2 代码实现

"""爬取豆瓣电影分类排行榜中的电影详情数据"""
import json

import requests


url = "https://movie.douban.com/j/chart/top_list"
param = {
    'type': '24',
    'interval_id': '100:90',
    'action': '',
    'start': '1',  # 从库中的第1部电影取
    'limit': '20',  # 一次请求取出的个数
    }
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0"}
response = requests.get(url=url, params=param, headers=headers)
list_data = response.json()
fp = open('./douban.json', 'w', encoding='utf-8')
json.dump(list_data, fp=fp, ensure_ascii=False)
print("OVER!")