Python爬虫数据提取方式——使用PyQuery查找元素
程序员文章站
2022-05-02 18:08:24
...
html = """
<div id='content'>
<ul class='list'>
<li class='one'>One</li>
<li class='two'>Two</li>
<li class='three'>Three</li>
<li class='four'>Four</li>
<div id='inner'>
<a href='http://www.baidu.com'>百度一下</a>
<p>第一段</p>
<p>第2段</p>
<p>第3段</p>
<p>
第4段
<span>法大师傅大师傅</span>
</p>
<p>第5段</p>
<p>第6段</p>
</div>
</ul>
</div>
"""
pyquery:仿照jquery语法,封装的一个包,和bs4有点类似。
首先:利用PyQuery类,对Html这个文档进行序列化,结果是一个文档对象
doc_obj = PyQuery(html)
print(doc_obj)
接下来:开始查找元素的方法
从doc_obj这个对象中根据类名匹配元素
ul = doc_obj('.list')
# ul是一个对象
print(ul)
print(type(ul)
#从ul中查找a
print(ul('a'))
当前元素对象.find(): 在当前对象中查找后代元素
当前元素对象.chrildren(): 在当前对象中查找直接子元素
print(ul.find('a'))
父元素查找
parent(): 直接父元素
parents(): 所有的父元素a = ul('a')
print(a.parent('#inner'))
兄弟元素的查找li = doc_obj('.one')
print(li.siblings())
print(li.siblings('.two'))
获取标签的属性或文本(遍历元素)ul = doc_obj('.list')
# generator object
res = ul('li').items()
for li in res:
print(li)
# 获取标签对象的文本内容
print(li.text())
# 获取标签属性
print(li.attr('class'))
获取标签下文本内容
inner_div = doc_obj('#inner')
p = inner_div('p')
print(p.text())
下一篇: Nginx快速手册(2)