python爬虫爬取json数据
程序员文章站
2023-12-31 21:29:22
...
python爬虫爬取json数据
有的时候我们在爬取的过程中会遇到一种情况,Elements有数据,可是在Network没有你想要数据,这个时候可能就遇到json了,这个时候怎么办呢,别急我们来慢慢来
#首先点击XHR
#然后看着会有几个数据包 不会太多只有几个一个一个找 总有你想要的数据
#有我们看不懂的数据怎么办呢,把你看不懂的数据复制下来放进这个网址里:http://www.kjson.com/jsoneditor/?f=1
#确认这是我们所需要的数据,这时我们就可以爬取了
import requests
from lxml import etree
url = 'https://doupocangqiong1.com/novelsearch/chapter/transcode.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3941.4 Safari/537.36'
}
# 这是请求所需的数据
data = {
"siteid": "0",
"bid": "1",
"cid": "875451"
}
ret = requests.post(url=url, headers=headers, data=data)
with open('./kkk.txt', 'w', encoding='utf-8') as f:
f.write(str(ret.json()))