欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python爬虫处理在线预览的pdf文档

程序员文章站 2023-03-26 20:33:28
最近在爬一个网站,然后爬到详情页的时候发现,目标内容是用pdf在线预览的 比如如下网站: https://camelot-py.readthedocs.io/en/master/_static/pdf/foo.pdf 根据我的分析发现,这样的在线预览pd... ......

 

引言

 

 

最近在爬一个网站,然后爬到详情页的时候发现,目标内容是用pdf在线预览的

比如如下网站:

 

https://camelot-py.readthedocs.io/en/master/_static/pdf/foo.pdf

 

 

python爬虫处理在线预览的pdf文档

 

 

 

根据我的分析发现,这样的在线预览pdf的采用了pdfjs加载预览,用爬虫的方法根本无法直接拿到pdf内的内容的,对的,你注意到了我说的【根本无法直接拿到】中的直接两个字,确实直接无法拿到,怎么办呢?只能把pdf先下载到本地,然后用工具转了,经过我查阅大量的相关资料发现,工具还是有很多:

  1.借用第三方的pdf转换网站转出来

  2.使用python的包来转:如:pypdf,pypdf2,pypdf4,pdfrw等工具

这些工具在pypi社区一搜一大把:

python爬虫处理在线预览的pdf文档

 

 但是效果怎么样就不知道了,只能一个一个去试了,到后面我终于找到个库,非常符合我的需求的库 ——camelot

 

camelot可以读取pdf文件中的数据,并且自动转换成pandas库(数据分析相关)里的dataframe类型,然后可以通过dataframe转为csv,json,html都行,我的目标要的就是转为html格式,好,废话不多说,开始搞

 

开始解析

  

1.安装camelot:

 

pip install camelot-py

pip install cv2  (因为camelot需要用到这个库)

 

2.下载pdf:因为在线的pdf其实就是二进制流,所以得按照下载图片和视频的方式下载,然后存到本地的一个文件里,这个步骤就不多说了   

 

3.解析:

 

import camelot

file = 'temp.pdf'
table = camelot.read_pdf(file,flavor='stream') 
table[0].df.to_html('temp.html')

 

以上的temp.html就是我希望得到的数据了,然后根据我的分析发现,在read_pdf方法里一定带上参数  【flavor='stream'】,不然的话就报这个错:

 

runtimeerror: please make sure that ghostscript is installed

 

原因就是,read_pdf默认的flavor参数是lattice,这个模式的话需要安装ghostscript库,然后你需要去下载python的ghostscript包和ghostscript驱动(跟使用selenium需要下载浏览器驱动一个原理),而默认我们的电脑肯定是没有安装这个驱动的,所以就会报上面那个错。我试着去装了这个驱动和这个包,去read_pdf时其实感觉没有本质区别,是一样的,所以带上参数flavor='stream'即可,当然如果你硬要用lattice模式的话,安装完ghostscript包和ghostscript驱动之后,记得在当前py文件用  【import ghostscript】导入下这个包,不然还是会报如上错误

 

继续走,发现能拿到我想要的数据了,非常nice,然后突然的,报了如下错误:

pypdf2.utils.pdfreaderror: eof marker not found

 

 python爬虫处理在线预览的pdf文档

 当时就是卧槽,这什么情况,我开始去研究eof marker是什么意思,但是我直接打开这个pdf文件又是正常的

 

 python爬虫处理在线预览的pdf文档

 

非常诡异,网上查阅了一堆,大概意思就是说,没有eof结束符,这个东西在之前我做js开发的时候遇到过,js的语句体{},少了最后的【}】,

我又去了解了下eof到底在二进制文件指的什么,然后看到老外的这个帖子:

 python爬虫处理在线预览的pdf文档

 我用同样的方法查看数据的前五个字符和后五个字符:

 

 python爬虫处理在线预览的pdf文档

 

 

 python爬虫处理在线预览的pdf文档

 

 

 

好像有了眉目,我以文本的方式打开了我下载到本地的一个pdf,在%%eof结尾之后还有很多的null

 

 python爬虫处理在线预览的pdf文档

 

难道是null的问题?我手动删掉null之后,单独对这个修改过的pdf用pdf查看器打开,正常打开,没有问题,我接着用代码针对这个文件执行read_pdf,发现非常神奇的不会报错了,那还真是结尾的null元素了。

然后我在从网上读取到pdf之后的二进制部分用字符串的strip()方法,以为用strip可以去除那些null,结果发现还是如此

 

 python爬虫处理在线预览的pdf文档

 

 -------------------------------------

那就只有先锁定  %%eof 所在位置,然后切片操作了,部分代码如下,果然问题解决,但同时又报了一个新的错,这个就是个编码问题了,相信搞爬虫的朋友们对这个问题非常熟悉了

 

 python爬虫处理在线预览的pdf文档

 

先暂时不管这个问题,我又改了下目标网站的指定页码

 python爬虫处理在线预览的pdf文档

 

 python爬虫处理在线预览的pdf文档

pdfminer.psparser.syntaxerror: invalid dictionary construct: [/'type', /'font', /'subtype', /'type0', /'basefont', /b"b'", /"abcdee+\\xcb\\xce\\xcc\\xe5'", /'encoding', /'identity-h', /'descendantfonts', <pdfobjref:11>, /'tounicode', <pdfobjref:19>]

 

 

发现问题越来越严重了,我鼓捣了一番之后,又查了一堆资料,将utf-8改成gb18030还是报错,我发现我小看这个问题了,接着查阅,然后发现github上camelot包的issues也有人提了这个报错,

 

python爬虫处理在线预览的pdf文档

 

 

 python爬虫处理在线预览的pdf文档

 

 

 

然后这里有个人说可以修复下pdf文件:

python爬虫处理在线预览的pdf文档

 

 

我查了下,需要安装一个软件mupdf,然后在终端用命令 修复  

mutool clean 旧的.pdf 新的.pdf

 

首先这并不是理想的解决方法,在python代码中,是可以调用终端命令,用os和sys模块就可以,但是万一因为终端出问题还不好找原因,所以我并没有去修复,之后我发现我这个决定是对的 

 

接着看,发现issue里很多人都在反馈这个问题,最后看到这个老哥说的

 

python爬虫处理在线预览的pdf文档

 

 

 

 

大概意思就是说pypdf2无法完美的处理中文文档的pdf,而camelot对pdf操作就基于pypdf2,卧槽,这个就难了。

 

 

然后我又查到这篇文章有说到这个问题:

 

 

那只能硬改源码了,改就改吧,毕竟这也不是我第一次改源码了

 

注意:如果你不知道的情况下,千万不要改源码,这是一个大忌,除非你非常清楚你要做什么

 

修改源码:

1.format.py

c:\program files\python37\lib\site-packages\pandas\io\formats\format.py该文件的第846行

 

由这样:

 python爬虫处理在线预览的pdf文档

 

 

改成这样:

 python爬虫处理在线预览的pdf文档

  

 

2.generic.py

 

file "d:\projects\myproject\venv\lib\site-packages\pypdf2\generic.py", 该文件的第484行

 python爬虫处理在线预览的pdf文档

 

 

 

3.utils.py

lib/site-packages/pypdf2/utils.py 第238行

 python爬虫处理在线预览的pdf文档

 

4.运行

 

再运行:之前那些错误已经没有了

 

但同时又有了一个新的错

 

其实这个超出索引范围的报错的根本是上面的警告:userwarning:page-1 is image-based,camelot only works on text-based pages. [streams.py:443]

 

 python爬虫处理在线预览的pdf文档

 

因为源数据pdf的内容是个图片,不再是文字,而camelot只能以文本形式提取数据,所以数据为空,所以 table[0]会报索引超出范围

 

针对图片的处理,我网上查阅了一些资料,觉得这篇文章写的不错,可以提取pdf中的图片

 

 

但是,我的目标是希望拿到pdf中的内容,然后转成html格式,在之前,我已经由在线pdf->本地pdf->提取表格->表格转html,这是第一种。

如果要提取图片的话,那步骤就是第二种:在线pdf->本地pdf->提取图片->ocr提取表格->验证对错->表格转html,这样就会多些步骤,想想,我为了拿到一个网站的数据,每个网页就要做这些操作,而且还要判断是图片就用用第二种,是表格就用第一种,两个方法加起来的话,爬一个网站的数据要做的操作的就多了,虽然这些都属于io操作型,但是到后期开启多线程,多进程时,与那些直接就能从源网页提取的相比就太耗时间了。

这样不是不行,是真的耗时间,所以我暂时放弃对图片的提取了,只提取table,先对pdf二进制数据判断是否是图片,是图片就跳过了

 

原理就是,根据上面那片博客里的:

 python爬虫处理在线预览的pdf文档

 

 

 

 

打开二进制源码验证:

 

 

第一个,它确实是图片的:

 

 python爬虫处理在线预览的pdf文档

 python爬虫处理在线预览的pdf文档

 

 

 

第二个,它是表格:

 

 python爬虫处理在线预览的pdf文档

 

 python爬虫处理在线预览的pdf文档

 

 

不过经过我的验证,发现这个方法正确率不能百分之百,少部分的即使是表格还是有/image和/xobject相关的字符串

 

 

那没办法了,有多少是多少吧

 

部分代码实现:

fujian_data = requests.get(fujian_url, headers=headers).content
fujian_index = fujian_data.index(b'%%eof')
fujian_data = fujian_data[:fujian_index + len(b'%%eof')]
checkxo = rb"/type(?= */xobject)"
checkim = rb"/subtype(?= */image)"
isxobject = re.search(checkxo, fujian_data)
isimage = re.search(checkim, fujian_data)
if isxobject and isimage:
    # 是图片跳过
    pass
f = open('temp.pdf', 'wb')
f.write(fujian_data)
f.close()
tables = camelot.read_pdf('temp.pdf', flavor='stream')
if os.path.exists('temp.pdf'):
    os.remove('temp.pdf')  # 删除本地的pdf
tables[0].df.to_html('foo.html', header=false, index=false)

 

 python爬虫处理在线预览的pdf文档

 

 

至此完毕,当然,你也可以用camelot 的to_csv 和 to_json方法转成你希望的,具体就自己研究了

 

以上就是python处理在线pdf的所有内容