爬取糗事百科数据
程序员文章站
2022-05-08 10:01:43
...
1 爬取页面代码
import urllib.request
import urllib.error
from urllib.request import urlopen #使用URLopen函数需要从包中声明
url='http://www.qiushibaike.com/hot/page=1'
agent='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36' #复制过来页面的agent地址
header={'User-Agent':agent}#编译成header验证
try:
request=urllib.request.Request(url,headers=header)#在request时加上header
response=urllib.request.urlopen(request)
print(response.read())
except urllib.error.URLError as e:
if hasattr(e,'code'): #hasattr函数:e中含有这个属性则返回真
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
没加上headers验证时报错,加上后打印出页面代码了。
2 爬取糗百段子
import urllib.request
import urllib.error
import re
from urllib.request import urlopen
page=1
url='http://www.qiushibaike.com/hot/page/1/'
agent='Mozilla/5.0 (Windows NT 6.1; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
header={'User-Agent':agent}
try:
request=urllib.request.Request(url,headers=header)
response=urllib.request.urlopen(request)
content=response.read().decode('utf-8')#把网站源码用utf-8转成内容
pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div class="content".*?<span>(.*?)</span>(.*?)<div class="stats">.*?class="number">(.*?)</i>',re.S)
#配正则表达式:(.*?)代表要爬取的内容
items=re.findall(pattern,content)#用findall函数在content中查找符合patten的字段
for item in items:#循环语句,遍历所有的item
haveImg=re.search('img',item[2])#如果一个item[2]中含有'img'字段,,则haveimg为真,则这条段子含有图片
if not haveImg:#只有不含图片的段子被打印出来
print (item[0]+'\n'+item[1]+'\n'+item[3])
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
部分爬取结果:
**惹祸了,快跑
男子误入传销组织,偷走五十万,后来传销人员报案,男子说以前他是小偷,可后来不干了,这次偷钱得目的是为了让警方能发现传销窝点,真希望能多几个这样的小偷,可算是强中自有强中手
567
我就撩撩吥泡你
女朋友第一次来我家玩儿。
左邻右舍的大婶大妈们闻风而动,顷刻之间就把我家围了个水泄不通。
张婶儿抱着她家的大胖孙子走过来,上下打量了我女朋友一番:“哎呀,这妹娃儿长得好乖哟,你看这脸,白白嫩嫩的,跟我屋孙仔这屁 股蛋子似的……”
3068
篱笆房站
反正我是笑了,您随意!
463
曳尾之鱼
test
486**
配正则表达式时尽量严谨繁琐一些,这样不容易出错。
3 设计面向对象模式
import urllib.request
import urllib.error
import threading
import time
import re
from urllib.request import urlopen
#糗事百科爬虫类
class QSBK:
#初始化方法,定义一些变量
def __init__(self):
self.pageIndex=1
#初始化headers
self.user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
self.headers={'User-Agent':self.user_agent}
#存放段子的变量,每一个元素时每一页的段子们
self.stories=[]
#存放程序是否继续运行的变量
self.enable=False
#返回某页的代码
def getPage(self,pageIndex):
try:
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
#构建请求的request
request=urllib.request.Request(url,headers=self.
headers=self.headers)
#利用urlopen获取页面代码
response=urllib.request.urlopen(request)
#读取代码,并将代码转化成utf-8格式
pagecode=response.read().decode('utf-8')
return pagecode
except urllib.error.URLError as e:
if hasattr(e,'reason'):
print(u'连接糗百失败,错误原因',e.reason)
return None
#返回某页的所有段子到pagestories中
def getPageItems(self,pageIndex):
pageCode=self.getPage(pageIndex)
if not pageCode:
print('页面加载失败')
return None
pattern = re.compile('<div class="author clearfix">.*?<h2>(.*?)</h2>.*?<div
class="content".*?<span>(.*?)</span>(.*?)<div class="stats">.*?class="number">(.*?
</i>',re.S)
items = re.findall(pattern, pageCode)
#用来存储每页的段子们
pageStories=[]
#遍历正则表达式匹配的信息
for item in items:
#是否含有图片
haveImg=re.search('img',item[2])
#如果不含有图片,把它加入到list中
if not haveImg:
replaceBR=re.compile('<br/>')
# re.sub实现正则表达式的替换,将<br/>换成'\n'
text=re.sub(replaceBR,'\n',item[1])
#strip() 方法用于移除字符串头尾指定的字符(默认为空格)
pageStories.append([item[0].strip()
,item[1].strip()
,item[3].strip()])
return pageStories
#把每一页的内容加到列表里,并保存页码
def loadPage(self):
#如果当前stories保存的页数少于2页,则加载下一页
if self.enable==True:
if len(self.stories)<2:#获取新一页
pageStories=self.getPageItems(self.pageIndex)
#将该业的段子存放到全局list中
if pageStories:
self.stories.append(pageStories)
#获取完之后页码索引加一,表示 下次读取下一页
self.pageIndex+=1
#每次敲回车打印输出一个段子
def getOneStory(self,pageStories,page):
#遍历一页的段子
for story in pageStories:#story为pagestories的一个元素
#等待用户输入
_input_ = input()
#每当回车一次,判断一下是否要加载新页面
self.loadPage()
#如果输入Q则程序结束
if _input_=='Q':
self.enable=False
return
print('第%d页\t发布人:%s\t发布内容:%s\t赞:%s\n'%(page,story[0],story[1],story[2]))
def start (self):
print(u'正在读取糗事百科,按回车查看新段子,Q退出')
#使变量为True,程序可以正常运行
self.enable=True
#先加载一页的内容
self.loadPage()
#局部变量,空中当前读到了第几页
nowPage=0
while self.enable:
if len(self.stories)>0:#判断stories里是否有元素
#从全局list中获取一页的段子
pageStories=self.stories[0]
#当前读到的页数加一
nowPage+=1
#将全局list中第一个元素删除,因为已经取出
del self.stories[0]
#输出该页的段子
self.getOneStory(pageStories,nowPage)#保证stories里面一直有2个元素
spider=QSBK()
spider.start()
可以实现回车一下就输出一个没有图片的段子,一页输完再输下一页;输出‘Q’则退出程序。