xpath工具（解析）

• 在XML文档中查找信息的语言，同样适用于HTML文档的检索 xpath辅助工具 chrome插件：Xpath Helper
• 打开/关闭：Ctrl + shift + x
  Firefox插件：XPath Checker
  XPath编辑工具：XML quire
  匹配演示
  1. 查找所有的book节点 : //book

查找所有book节点下的title子节点中,lang属性为"en"的节点

//book/title[@lang=“en”]

3. 查找bookstore下的第2个book节点下的title子节点 /bookstore/book[2]/title

4. 选取节点 // : 从整个文档中查找节点 //price //book//price @ : 选取某个节点的属性值 //title[@lang=“en”]

5. @的使用

6. 选取1类节点 : //title[@lang=“en”]

7. 选取存在某个属性节点: //title[@lang]

8. 选取节点的属性值: //title/@lang

9. 匹配多路径 ：|

10. xpath表达式1 | xpath表达式2

11. 获取所有book节点下的title子节点和price子节点 //book/title | //book/price

xpath函数
contains():匹配一个属性值中包含某些字符串的节点
//title[contains(@lang,“e”)]
//div[contains(@class,“njjzw”)]

text():获取文本 //title[contains(@lang,"e")]/text() lxml库及xpath使用 安装 管理员 Prompt : conda install lxmlPrompt : conda install lxml 使用流程

导模块
from lxml import etreefrom lxml import etree
创建解析对象
parseHtml = etree.HTML(html)
调用xpath
rList=parseHtml.xpath(‘xpath表达式’)

## 只要调用了xpath,结果一定是列表 ##
from lxml import etree

html = '''
<div class="wrapper">
    <i class="iconfont icon-back" id="back"></i>
    <a href="/" id="channel">新浪社会</a>
    <ul id="nav">
        <li><a href="http://domestic.firefox.sina.com/" title="国内">国内</a></li>
        <li><a href="http://world.firefox.sina.com/" title="国际">国际</a></li>
        <li><a href="http://mil.firefox.sina.com/" title="军事">军事</a></li>
        <li><a href="http://photo.firefox.sina.com/" title="图片">图片</a></li>
        <li><a href="http://society.firefox.sina.com/" title="社会">社会</a></li>
        <li><a href="http://ent.firefox.sina.com/" title="娱乐">娱乐</a></li>
        <li><a href="http://tech.firefox.sina.com/" title="科技">科技</a></li>
        <li><a href="http://sports.firefox.sina.com/" title="体育">体育</a></li>
        <li><a href="http://finance.firefox.sina.com/" title="财经">财经</a></li>
        <li><a href="http://auto.firefox.sina.com/" title="汽车">汽车</a></li>
    </ul>
    <i class="iconfont icon-liebiao" id="menu"></i>
</div>'''
# 创建解析对象(etree.HTML())
parseHtml = etree.HTML(html)
# 解析对象调用xpath()
# 1. 匹配出所有的 href 的值
r1 = parseHtml.xpath('//a/@href')
#print(r1)
# 2. 把href中的 / 匹配出来
r2 = parseHtml.xpath(
 '//div[@class="wrapper"]/a/@href')
#print(r2)
# 3. 把href中的非 / 匹配出来
r3 = parseHtml.xpath(
   '//ul[@id="nav"]/li/a/@href')
#print(r3)

# 4. 获取所有a节点的文本内容
r4 = parseHtml.xpath('//a/text()')
#print(r4)
# 5. 获取所有a节点文本内容(不包括最上面的新浪社会)
r5 = parseHtml.xpath(
    '//ul[@id="nav"]/li/a')
for s in r5:
    print(s.text)