Python网络爬虫--Requests库

一、 requests.get(url, params=None, **kwargs)

import requests

url = "https://movie.douban.com/subject/26754233/reviews?start=%d"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
}

for i in range(20):
    response = requests.get(url % i * 20, headers=headers)

    with open("%d.html" % i, "w", encoding="utf-8") as f:
        f.write(response.text)
        f.flush()

二、response属性和方法

1.1 属性

状态码：

----2XX
成功
200
201
----3XX
重定向
----4XX
客户端错误
----5XX
服务器内部错误

1.2 方法

变成属性的方法

成员方法