爬虫初阶(三)--数据处理
程序员文章站
2024-01-10 15:11:58
...
1.数据分类
- 在抓取某个网站或者某个应用的内容时,内容一般分为两部分,非结构化的数据和结构化的数据。
1.1 非结构化的数据处理
- 文本、电话号码、邮箱地址
– 正则表达式 - HTML 文件
– 正则表达式
– XPath
– CSS选择器
1.2 结构化的数据处理
- JSON 文件
– JSON Path
– 转化成Python类型进行操作(json类) - XML 文件
– 转化成Python类型(xmltodict)
– XPath
– CSS选择器
– 正则表达式
2.数据处理–JSON
2.1 什么是JSON
- JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前端与后台之间的数据交互。
2.2 数据转化
2.2.1 json.loads()把json字符串转化为python字典
import requests
from pprint import pprint # 格式化输出
url = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0"
html_str = requests.get(url).content.decode()
ret1 = json.loads(html_str)
pprint(ret1)
print(type(ret1)) # <class 'dict'>
2.2.2 json.dumps()把python字典转化为json字符串
ret2 = json.dumps(ret1, ensure_ascii=False, indent=2) # 添加解码, 缩进格式化
print(ret2)
print(type(ret2)) # <class 'str'>
2.2.3 json.load()提取类文件对象中的json字符串, 转化为python字典
with open('douban.json', 'w') as f:
f.write(json.dumps(ret2)
with open('douban.json', 'r', encoding='utf-8') as f:
ret3 = json.load(f)
print(ret3)
print(type(ret3)) # <class 'dict'>
2.2.4 json.dump()能够把python字典转化为json字符串放入类文件对象中
with open('douban1.json', 'w', encoding='utf-8') as f:
json.dump(ret1, f, ensure_ascii=False ,indent=2)
3.数据处理–XPATH和LXML类库
- lxml是一款高性能的 Python HTML/XML 解析器,可以利用XPath,来快速的定位特定元素以及获取节点信息。
- XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言,
可用来在 HTML\XML 文档中对元素和属性进行遍历。
3.1 XPATH节点选择语法
常用路径表达式:
表达式 | 描述 |
---|---|
nodename | 选取此节点的所有子节点 |
/ | 从根节点选取 |
// | 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置 |
. | 选取当前节点 |
… | 选取当前节点的父节点 |
@ | 选取属性 |
栗子:
路径表达式 | 结果 |
---|---|
bookstore | 选取 bookstore 元素的所有子节点 |
/bookstore | 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径 |
bookstore/book | 选取属于 bookstore 的子元素的所有 book 元素 |
//book | 选取所有 book 子元素,而不管它们在文档中的位置 |
bookstore//book | 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置 |
//@lang | 选取名为 lang 的所有属性 |
/bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素 |
/bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素 |
/bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素 |
/bookstore/book[position() < 3] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素 |
//title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素 |
//title[@lang=‘eng’] | 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性 |
/bookstore/book[price > 35.00] | 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00 |
/bookstore/book[price > 35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00 |
选取未知节点:
通配符 | 描述 |
---|---|
* | 匹配任何元素节点 |
@* | 匹配任何属性节点 |
node() | 匹配任何类型的节点 |
栗子:
路径表达式 | 结果 |
---|---|
/bookstore/* | 选取 bookstore 元素的所有子元素 |
//* | 选取文档中的所有元素 |
html/node()/meta/@* | 选择html下面任意节点下的meta节点的所有属性 |
//title[@*] | 选取所有带有属性的 title 元素 |
选取多个路径:
路径表达式 | 结果 |
---|---|
//book/title | //book/price | 选取 book 元素的所有 title 和 price 元素 |
//title | //price | 选取文档中的所有 title 和 price 元素 |
/bookstore/book/title | //price | 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素 |
3.2 lxml库
- 导入lxml 的 etree 库
- 利用etree.HTML,将字符串转化为Element对象
- Element对象具有xpath的方法
from lxml import etree
text = ''' <div> <ul>
<li class="item-1"><a>first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a>
</ul> </div> '''
html = etree.HTML(text)
print(html) # <Element html at 0x7f9d5c691bc8>
# 查看element对象中包含的字符串
# lxml能够修正HTML代码,但是可能会改错了,使用etree.tostring观察修改之后的html的样子,根据修改之后的html字符串写xpath
print(etree.tostring(html).decode())
# 获取class为item-1下的href
ret = html.xpath("//li[@class='item-1']/a/@href")
print(ret)
# 获取class为item-1下的文本
ret2 = html.xpath("//li[@class='item-1']/a/text()")
print(ret2)
# 每一个li是一条新闻,把url和文本组成字典
item = dict()
for href in ret:
item["href"] = href
item["title"] = ret2[ret.index(href)]
print(item)
print("*"*20)
# 根据li标签进行分组, 对每一组继续写xpath
ret3 = html.xpath("//li[@class='item-1']")
print(ret3)
item2 = dict()
for i in ret3:
item2["title"] = i.xpath("./a/text()")[0] if len(i.xpath("./a/text()"))>0 else None
item2["href"] = i.xpath("./a/@href")[0] if len(i.xpath("./a/@href"))>0 else None
print(item2)
下一篇: LeetCode 2. 两数相加