python爬虫--03 Beautiful Soup库
程序员文章站
2022-07-10 13:58:33
...
1 库介绍
简介
Beautiful Soup库是解析、遍历、维护“标签树”的功能库
安装
pip install beautifulsoup4
使用
from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')
soup2 = BeautifulSoup(open('D://demo.html'), 'html.parser')
2 BeautifulSoup解析器
bs4的HTML解析器:BeautifulSoup(mk,'html.parser')--安装bs4库
lxml的HTML解析器:BeautifulSoup(mk,'lxml')--pip install lxml
lxml的XML解析器:BeautifulSoup(mk,'xml')--pip install lxml
html5lib的解析器:BeautifulSoup(mk,'html5lib')--pip install html5lib
3 BeautifulSoup类基本元素
Tag:标签,最基本的信息组织单元,分别用<>和</>标明开头和结尾
Name:标签的名字,<p>…</p>的名字是'p',格式:<tag>.name
Attributes:标签的属性,字典形式组织,格式:<tag>.attrs
NavigableString:标签内非属性字符串,<>…</>中字符串,格式:<tag>.string
Comment:标签内字符串的注释部分,一种特殊的Comment类型
import requests
from bs4 import BeautifulSoup
url = 'http://python123.io/ws/demo.html'
r =requests.get(url)
demo = r.text
soup = BeautifulSoup(demo,'html.parser')
print(soup.a) ## 标签
print(soup.a.parent.parent.name) ## 标签的爷爷标签名
print(soup.a.attrs) ## 属性字典
print(soup.a.string) ## 标签内字符串
print(soup.a.comment) ## 注释
print(type(soup.a.string)) ## 标签内字符串
><a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
>body
>{'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
>Basic Python
>None
><class 'bs4.element.NavigableString'>
4 标签树遍历
下行遍历
.contents:子节点的列表,将<tag>所有儿子节点存入列表
.children:子节点的迭代类型,与.contents类似,用于循环遍历儿子节点
.descendants:子孙节点的迭代类型,包含所有子孙节点,用于循环遍历
上行遍历
.parent:节点的父亲标签
.parents:节点先辈标签的迭代类型,用于循环遍历先辈节点
平行遍历
.next_sibling:返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling:返回按照HTML文本顺序的上一个平行节点标签
.next_siblings:迭代类型,返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings:迭代类型,返回按照HTML文本顺序的前续所有平行节点标签
遍历代码
print(soup.head.contents) ##返回列表
print(soup.body.contents[1])
for child in soup.body.descendants: ## 遍历子孙节点
print(child)
for parent in soup.a.parents:
if parent is None: ##遍历所有先辈节点,包括soup本身(空),所以要区别判断
print(parent)
else:
print(parent.name)
5 prettify()方法
.prettify()为HTML文本<>及其内容增加更加'\n'
.prettify()可用于标签,方法:<tag>.prettify()
import requests
from bs4 import BeautifulSoup
url = 'http://python123.io/ws/demo.html'
r =requests.get(url)
# demo = r.text
soup = BeautifulSoup(r.text,'html.parser')
print(soup.prettify())
6 bs4库的编码
bs4库将任何HTML输入都变成utf‐8编码
上一篇: 剑指offer30.包含min函数的栈
下一篇: python爬虫--08 淘宝比价