Python3爬取百度文库数据

前言

在这里我就不再一一介绍每个步骤的具体操作了，因为在爬取老版今日头条数据的时候都已经讲的非常清楚了，所以在这里我只会在重点上讲述这个是这么实现的，如果想要看具体步骤请先去看我今日头条的文章内容，里面有非常详细的介绍以及是怎么找到加密js代码和api接口。

Python3爬取今日头条文章视频数据，完美解决as、cp、_signature的加密方法

QQ群聊

855262907

分析百度文库

经过一个一个的排查，发现数据就在这里，你直接搜索也是可以的，那样更快。

我们直接搜索参数authorization，发现整个链接就在这，只要直接获取就可以了。

直接上代码了，这都不用分析了，直接爬就可以了。

import requests
from lxml import etree
import re
import json

class WenKu():
    def __init__(self):
        self.session = requests.Session()
        self.get_url()

    def get_url(self):
        url = "https://wenku.baidu.com/view/b35a73c5ee3a87c24028915f804d2b160b4e86c6"
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            'Host': 'wenku.baidu.com',
            'Sec-Fetch-Dest': 'document',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-Site': 'same-origin',
            'Sec-Fetch-User': '?1',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
        }
        response = self.session.get(url=url,headers=headers)
        html = etree.HTML(response.text)
        script_content = html.xpath('//script[2]/text()')[0]
        recompile = re.compile('.*?var pageData = (.*?);.*?window.pageData = pageData;.*?',re.S)
        page_data = json.loads(recompile.findall(script_content)[0])
        js = json.loads(page_data['readerInfo2019']['htmlUrls'])['json']
        for page_load_urls in js:
            page_load_url = page_load_urls['pageLoadUrl']
            self.get_data(page_load_url)

    def get_data(self,url):
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'Accept-Encoding': 'gzip, deflate, br',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            'Host': 'wkbjcloudbos.bdimg.com',
            'Sec-Fetch-Dest': 'document',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-Site': 'none',
            'Sec-Fetch-User': '?1',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
        }
        response = self.session.get(url=url,headers=headers)
        print(response.content.decode('unicode_escape'))

if __name__ == '__main__':
    WenKu()

输出结果：

你们要是有人会数据分析，可以直接分析一下，然后添加到pdf或word里面就可以了，其他另外的几种爬法都是一样的。

声明：本文仅供学习交流使用，请勿用于商业用途，违者后果自负。