欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

使用fake_useragent随机生成user_agent

程序员文章站 2022-05-09 11:17:43
...

在爬虫爬取网站的过程中,难免遇到网站通过useragent验证是否为正常用户。可以自己维护一个ua列表,但是为了方便,我们可以使用一个python三方库fake_useragent来随机生成ua,具体步骤如下:
( 1 ) 安装fake_useragent

pip install fake_useragent

( 2 )用法

引入,生成实例:

from fake_useragent import UserAgent
ua = UserAgent()

#ie浏览器的user agent
print(ua.ie)

#opera浏览器
print(ua.opera)

#chrome浏览器
print(ua.chrome)

#firefox浏览器
print(ua.firefox)

#safri浏览器
print(ua.safari)

#最常用的方式
#写爬虫最实用的是可以随意变换headers,一定要有随机性。支持随机生成请求头
print(ua.random)

示例:

from urllib.request import Request, urlopen
from fake_useragent import UserAgent

base_url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start={}&limit=20"
i = 0
while True:
    headers = {
    	#设置chrome的 "User-Agent"
        "User-Agent": UserAgent().chrome
    }

    url = base_url.format(i * 20)
    request = Request(url, headers=headers)
    response = urlopen(request)
    info = response.read().decode()
    print(info)
    if info == "" or info is None:
        break
    i += 1