欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python爬虫爬取json数据

程序员文章站 2023-12-31 21:29:22
...

python爬虫爬取json数据

有的时候我们在爬取的过程中会遇到一种情况,Elements有数据,可是在Network没有你想要数据,这个时候可能就遇到json了,这个时候怎么办呢,别急我们来慢慢来

#首先点击XHR

python爬虫爬取json数据

#然后看着会有几个数据包 不会太多只有几个一个一个找 总有你想要的数据

python爬虫爬取json数据

#有我们看不懂的数据怎么办呢,把你看不懂的数据复制下来放进这个网址里:http://www.kjson.com/jsoneditor/?f=1

python爬虫爬取json数据

#确认这是我们所需要的数据,这时我们就可以爬取了

import requests
from lxml import etree

url = 'https://doupocangqiong1.com/novelsearch/chapter/transcode.html'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3941.4 Safari/537.36'
}
# 这是请求所需的数据
data = {
        "siteid": "0",
        "bid": "1",
        "cid": "875451"
        }

ret = requests.post(url=url, headers=headers, data=data)
with open('./kkk.txt', 'w', encoding='utf-8') as f:
    f.write(str(ret.json()))

#这样我们就可以拿到json的数据了是不是很简单

相关标签: 爬虫

上一篇:

下一篇: