欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页  >  IT编程

Python HTML解析模块HTMLParser用法分析【爬虫工具】

程序员文章站 2023-11-17 20:39:43
本文实例讲述了python html解析模块htmlparser用法。分享给大家供大家参考，具体如下： 简介 先简略介绍一下。实际上，htmlparser是python...

本文实例讲述了python html解析模块htmlparser用法。分享给大家供大家参考，具体如下：

简介

先简略介绍一下。实际上，htmlparser是python用来解析html的内置模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。htmlparser采用的是一种事件驱动的模式，当htmlparser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的，都是htmlparser的成员函数。当我们使用时，就从htmlparser派生出新的类，然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括：

（1）handle_startendtag  　　处理开始标签和结束标签（即单标签）
（2）handle_starttag     　　   处理开始标签，比如<xx>
（3）handle_endtag       　　  处理结束标签，比如</xx>
（4）handle_charref      　　   处理特殊字符串，就是以开头的，一般是内码表示的字符
（5）handle_entityref   　　   处理一些特殊字符，以&开头的，比如  
（6）handle_data         　　   处理数据，就是<xx>data</xx>中间的那些数据
（7）handle_comment          处理注释
（8）handle_decl         　　    处理<!开头的，比如<!doctype html public "-//w3c//dtd html 4.01 transitional//en"
（9）handle_pi           　　      处理形如<?instruction>的东西

实例

ok，废话少说，直接上手，来一个简单的爬虫实例——抓取贴吧图片。

from html.parser import htmlparser
from urllib import request
class myhtmlparser(htmlparser):   # 创建html解析类
  def __init__(self):
    htmlparser.__init__(self)
    self.gifs_urls = []     # 创建列表，保存gif
    self.jpgs_urls = []     # 创建列表，保存jpg
  # 重写htmlparser中的内置方法
  def handle_starttag(self, tags, attrs): # 处理起始标记
    if tags == 'img':  # 处理图片
      for attr in attrs:
        for t in attr:
          if 'gif' in t and 'https' in t:
            self.gifs_urls.append(t)  # 添加到gif列表
          elif 'jpg' in t and 'https' in t:
            self.jpgs_urls.append(t)  # 添加到jpg列表
          else:
            pass
  # 自定义的方法
  def get_gifs(self):   # 返回gif列表
    return self.gifs_urls
  def get_jpgs(self):   # 返回jpg列表
    return self.jpgs_urls
  # 自定义的方法，获取页面
  def gethtml(self,url):
    req=request.request(url,method='get')
    html=request.urlopen(req,timeout=30)
    return html.read()
  # 自定义的方法，批量下载图片
  def downimgs(self,img_urls,n=10,path='image/'):
    count=1
    for url in img_urls:
      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
      count=count+1
      if count == n + 1:
        print('共下载%d张图片' %(n))
        return
if __name__ == '__main__':
  url = 'http://tieba.baidu.com/p/2256306796'
  htmlparser=myhtmlparser()
  html=htmlparser.gethtml(url)
  # print(html)
  htmlparser.feed(str(html))   #开始解析html，自动调用htmlparser中的内置方法
  htmlparser.downimgs(htmlparser.get_jpgs())

更多关于python相关内容可查看本站专题：《python socket编程技巧总结》、《python正则表达式用法总结》、《python数据结构与算法教程》、《python函数使用技巧总结》、《python字符串操作技巧汇总》、《python入门与进阶经典教程》及《python文件与目录操作技巧汇总》

希望本文所述对大家python程序设计有所帮助。

上一篇： Python工程师面试题 与Python基础语法相关

下一篇： 跟有结果的人学习《社群团购第1堂课》

推荐阅读