欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

datawhale爬虫task-2之Xpath

程序员文章站 2022-05-02 22:15:29
...

2.2 Task4 学习xpath

  1. 学习xpath,使用lxml+xpath提取内容。
  1. 使用xpath提取丁香园论坛的回复内容。
  1. 丁香园直通点:http://www.dxy.cn/bbs/thread/626626#626626
  1. 参考资料:https://blog.csdn.net/naonao77/article/details/88129994

 使用xpath提取丁香园论坛的回复内容

1,xpath简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档(根)节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式:

表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。

 2,安装lxml

anaconda中已经包含lxml包,可以直接import

3,创建对象

tree= etree.HTML(r.text)

4,获取用户名和评论内容

user=tree.xpath('//div[@class="auth"]/a/text()')
content=tree.xpath('//td[@class="postbody"]')

源码:(暂无登陆)

from lxml import etree
import requests

url="http://www.dxy.cn/bbs/thread/626626#626626 "
r=requests.get(url)
r.text.encode('utf').decode('utf-8')
tree= etree.HTML(r.text)
user=tree.xpath('//div[@class="auth"]/a/text()')
content=tree.xpath('//td[@class="postbody"]')
result=[]
for i in range(0,len(user)):
    result.append(user[i].strip()+":"+content[i].xpath('string(.)').strip())
for i in range(0,len(result)):
    print(result[i])

结果:

楼医生:我遇到一个“怪”病人,向大家请教。她,42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒,短暂意识丧失。无逆行性遗忘,无抽搐,无口吐白沫,无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊;头颅MRI示小软化灶;脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断,还需做什么检查,治疗方案怎样?
lion000:从发作的症状上比较符合血管迷走神经性晕厥,直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者:林文华 任自文 丁燕生http://www.ccheart.com.cn/ccheart_site/Templates/jieru/200011/1-1.htm
xghrh:同意lion000版主的观点:如果此患者随着年龄的增长,其发作频率逐渐减少且更加支持,不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查,因在这些检查过程中患者发病的机会不是太大,当然不排除正好发作的情况。对此患者应常规作直立倾斜试验,如果没有诱发出,再考虑有无可能是其他原因所致的意识障碍,如室性心动过速等,但这需要电生理尤其是心腔内电生理的检查,毕竟是有一种创伤性方法。因在外地,下面一篇文章可能对您有助,请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ,杨峻青、吴沃栋、张瑞云,中国神经精神疾病杂志, 2002 Vol.28 No.2
keys:该例不排除精神因素导致的,因为每次均在受惊吓后出现。当然,在作出此诊断前,应完善相关检查,如头颅MIR(MRA),直立倾斜试验等。
 

参考:

 学习xpath,使用lxml+xpath提取内容。 - naonao77的博客 https://blog.csdn.net/naonao77/article/details/88129994

爬虫任务二 - 简书 https://www.jianshu.com/p/dd5ce4fcbbbb

官方文档:lxml - Processing XML and HTML with Python https://lxml.de/index.html

XPath 教程 | 菜鸟教程 http://www.runoob.com/xpath/xpath-tutorial.html

python爬虫之xpath的基本使用 - Charles.L - 博客园 https://www.cnblogs.com/lei0213/p/7506130.html

用lxml解析HTML - 李少宏 - 博客园 http://www.cnblogs.com/descusr/archive/2012/06/20/2557075.html

使用lxml前注意事项:先确保html经过了utf-8解码,即code = html.decode('utf-8', 'ignore'),否则会出现解析出错情况。因为中文被编码成utf-8之后变成 '/u2541' 之类的形式,lxml一遇到 “/”就会认为其标签结束。

 

 

相关标签: Xpath