欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬取糗事百科数据

程序员文章站 2022-05-08 10:01:43
...

1 爬取页面代码

import urllib.request
import urllib.error
from urllib.request import urlopen  #使用URLopen函数需要从包中声明

url='http://www.qiushibaike.com/hot/page=1'
agent='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36' #复制过来页面的agent地址
header={'User-Agent':agent}#编译成header验证
try:
    request=urllib.request.Request(url,headers=header)#在request时加上header
    response=urllib.request.urlopen(request)
    print(response.read())
except urllib.error.URLError as e:
    if hasattr(e,'code'):  #hasattr函数:e中含有这个属性则返回真
       print(e.code)
    if hasattr(e,'reason'):
       print(e.reason)

没加上headers验证时报错,加上后打印出页面代码了。

2 爬取糗百段子

import urllib.request
import urllib.error
import re
from urllib.request import urlopen

page=1
url='http://www.qiushibaike.com/hot/page/1/'
agent='Mozilla/5.0 (Windows NT 6.1; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
header={'User-Agent':agent}
try:
    request=urllib.request.Request(url,headers=header)
    response=urllib.request.urlopen(request)
    content=response.read().decode('utf-8')#把网站源码用utf-8转成内容
    pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div class="content".*?<span>(.*?)</span>(.*?)<div class="stats">.*?class="number">(.*?)</i>',re.S)
    #配正则表达式:(.*?)代表要爬取的内容
    items=re.findall(pattern,content)#用findall函数在content中查找符合patten的字段
    for item in items:#循环语句,遍历所有的item
        haveImg=re.search('img',item[2])#如果一个item[2]中含有'img'字段,,则haveimg为真,则这条段子含有图片
        if not haveImg:#只有不含图片的段子被打印出来
           print (item[0]+'\n'+item[1]+'\n'+item[3])
except urllib.error.URLError as e:
    if hasattr(e,'code'):
       print(e.code)
    if hasattr(e,'reason'):
       print(e.reason)

部分爬取结果:
**惹祸了,快跑
男子误入传销组织,偷走五十万,后来传销人员报案,男子说以前他是小偷,可后来不干了,这次偷钱得目的是为了让警方能发现传销窝点,真希望能多几个这样的小偷,可算是强中自有强中手
567
我就撩撩吥泡你
女朋友第一次来我家玩儿。
左邻右舍的大婶大妈们闻风而动,顷刻之间就把我家围了个水泄不通。
张婶儿抱着她家的大胖孙子走过来,上下打量了我女朋友一番:“哎呀,这妹娃儿长得好乖哟,你看这脸,白白嫩嫩的,跟我屋孙仔这屁 股蛋子似的……”
3068
篱笆房站
反正我是笑了,您随意!
463
曳尾之鱼
test
486**

配正则表达式时尽量严谨繁琐一些,这样不容易出错。

3 设计面向对象模式

import urllib.request
import urllib.error
import threading
import time
import re
from urllib.request import urlopen
#糗事百科爬虫类
class QSBK:
    #初始化方法,定义一些变量
    def __init__(self):
        self.pageIndex=1
        #初始化headers
        self.user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
        self.headers={'User-Agent':self.user_agent}
        #存放段子的变量,每一个元素时每一页的段子们
        self.stories=[]
        #存放程序是否继续运行的变量
        self.enable=False
    #返回某页的代码
    def getPage(self,pageIndex):
        try:
            url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            #构建请求的request
            request=urllib.request.Request(url,headers=self.
            headers=self.headers)
            #利用urlopen获取页面代码
            response=urllib.request.urlopen(request)
            #读取代码,并将代码转化成utf-8格式
            pagecode=response.read().decode('utf-8')
            return pagecode

        except urllib.error.URLError as e:
            if hasattr(e,'reason'):
                print(u'连接糗百失败,错误原因',e.reason)
                return None
    #返回某页的所有段子到pagestories中
    def getPageItems(self,pageIndex):
        pageCode=self.getPage(pageIndex)
        if not pageCode:
            print('页面加载失败')
            return None
        pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div             
        class="content".*?<span>(.*?)</span>(.*?)<div class="stats">.*?class="number">(.*?
        </i>',re.S)
        items = re.findall(pattern, pageCode)
            #用来存储每页的段子们
        pageStories=[]
            #遍历正则表达式匹配的信息
        for item in items:
                #是否含有图片
            haveImg=re.search('img',item[2])
                #如果不含有图片,把它加入到list中
            if not haveImg:
                replaceBR=re.compile('<br/>')
                    # re.sub实现正则表达式的替换,将<br/>换成'\n'
                text=re.sub(replaceBR,'\n',item[1])
                    #strip() 方法用于移除字符串头尾指定的字符(默认为空格)
                pageStories.append([item[0].strip()
                ,item[1].strip()
                ,item[3].strip()])
        return pageStories
    #把每一页的内容加到列表里,并保存页码
    def loadPage(self):
    #如果当前stories保存的页数少于2页,则加载下一页
        if self.enable==True:
            if len(self.stories)<2:#获取新一页
            pageStories=self.getPageItems(self.pageIndex)
                #将该业的段子存放到全局list中
                if pageStories:
                    self.stories.append(pageStories)
                    #获取完之后页码索引加一,表示 下次读取下一页
                    self.pageIndex+=1
    #每次敲回车打印输出一个段子
    def getOneStory(self,pageStories,page):
        #遍历一页的段子
        for story in pageStories:#story为pagestories的一个元素
            #等待用户输入
            _input_ = input()
            #每当回车一次,判断一下是否要加载新页面
            self.loadPage()
            #如果输入Q则程序结束
            if _input_=='Q':
                self.enable=False
                return
            print('第%d页\t发布人:%s\t发布内容:%s\t赞:%s\n'%(page,story[0],story[1],story[2]))
    def start (self):
        print(u'正在读取糗事百科,按回车查看新段子,Q退出')
        #使变量为True,程序可以正常运行
        self.enable=True
        #先加载一页的内容
        self.loadPage()
        #局部变量,空中当前读到了第几页
        nowPage=0
        while self.enable:
            if len(self.stories)>0:#判断stories里是否有元素
                #从全局list中获取一页的段子
                pageStories=self.stories[0]
                #当前读到的页数加一
                nowPage+=1
                #将全局list中第一个元素删除,因为已经取出
                del self.stories[0]
                #输出该页的段子
                self.getOneStory(pageStories,nowPage)#保证stories里面一直有2个元素
spider=QSBK()
spider.start()

可以实现回车一下就输出一个没有图片的段子,一页输完再输下一页;输出‘Q’则退出程序。

相关标签: 爬虫 python