欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

利用requests模块爬取百度翻译

程序员文章站 2022-04-08 23:20:03
...

话不多说,直接上代码,不懂得可以参考一下我发的上一篇文章。本次推荐大家使用火狐浏览器,因为我用了2345 和 win10自带的浏览器,运行成功后爬取不到东西。

import requests
import json
if __name__ == '__main__':
    #1. 指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #2. UA伪装
    headers = {
        'User Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'
    }
    #3. 发送请求
    word = input('enter a word:')
    data = {
        'kw':word
    }
    response = requests.post(url=post_url,data=data,headers=headers)
    #4. 获取数据:json返回的是obj(如果确认响应数据是json类型的,才可以使用json())
    dic_obj = response.json()
    #5. 永久化存储
    fileName = word + '.json'
    a= open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=a,ensure_ascii=False)#中文,所以json不能使用Ascii
    print('保存成功')

运行结果如下:

运行之后得到的文件是json文件,是因为接收的数据类型是json类型,可以在网页上查找

利用requests模块爬取百度翻译

打开文件内容如下,比如说爬取love的结果

利用requests模块爬取百度翻译