爬虫-反爬虫相关

1.User-Agent

服务器反爬虫机制会判断客户端请求头中的User-Agent是否来源于真实浏览器，所以，我们使用Requests经常会指定UA伪装成浏览器发起请求

• 生成随机的User-Agent

from fake_useragent import UserAgent
for i in range(10):
    ua = UserAgent()
    headers = {'User-Agent': ua.random}
    print(headers)

复制代码