利用requests模块爬取百度翻译
程序员文章站
2022-04-08 23:20:03
...
话不多说,直接上代码,不懂得可以参考一下我发的上一篇文章。本次推荐大家使用火狐浏览器,因为我用了2345 和 win10自带的浏览器,运行成功后爬取不到东西。
import requests
import json
if __name__ == '__main__':
#1. 指定url
post_url = 'https://fanyi.baidu.com/sug'
#2. UA伪装
headers = {
'User Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'
}
#3. 发送请求
word = input('enter a word:')
data = {
'kw':word
}
response = requests.post(url=post_url,data=data,headers=headers)
#4. 获取数据:json返回的是obj(如果确认响应数据是json类型的,才可以使用json())
dic_obj = response.json()
#5. 永久化存储
fileName = word + '.json'
a= open(fileName,'w',encoding='utf-8')
json.dump(dic_obj,fp=a,ensure_ascii=False)#中文,所以json不能使用Ascii
print('保存成功')
运行结果如下:
运行之后得到的文件是json文件,是因为接收的数据类型是json类型,可以在网页上查找
打开文件内容如下,比如说爬取love的结果
上一篇: 爬取豆瓣读书-用户信息页链接(Python爬虫实战)
下一篇: Python-04-网络和文件