欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

我的第一个Python爬虫

程序员文章站 2022-04-19 15:41:13
参考了晚上很多资料 就是抓取https://m.i21st.cn/speaking/oraltraining_1.html这个网站上的英语资料 ,没事练练英语~哈哈~ # -...

参考了晚上很多资料

就是抓取https://m.i21st.cn/speaking/oraltraining_1.html这个网站上的英语资料 ,没事练练英语~哈哈~


# -*- coding: utf-8 -*-
import urllib2
import urllib
import re
import thread
import time


class html_model:  
      
    def __init__(self):  
        self.page = 1  
        self.pages = []  
       #self.mytool = html_tool()  
        self.enable = false  
        
  
    def getpage(self,page):  
        myurl = "https://m.i21st.cn/speaking/oraltraining_" + page +".html"
        myresponse  = urllib2.urlopen(myurl)  
        mypage = myresponse.read()  
        #encode的作用是将unicode编码转换成其他编码的字符串  
        #decode的作用是将其他编码的字符串转换成unicode编码  
        unicodepage = mypage.decode("utf-8")  
                
        # 找出所有class="content"的p标记  
        #re.s是任意匹配模式,也就是.可以匹配换行符  
        myitems = re.findall("

(.*?)",unicodepage,re.s) items = [] for item in myitems: items.append([item[0].replace("\n",""),item[1].replace("\n","")]) return items def loadpage(self): while self.enable: if len(self.pages)

(.*?)",unicodepage,re.s) temp = re.findall("(.*?)

",unicodepage,re.s) temp1=temp[0].encode("utf-8") temp2=re.findall("(.*?)

",temp1,re.s) temp3=temp2[0].decode("utf-8") #myitems = re.findall("[\n](.*?)(.*?)",temp1,re.s) temp4 =str(temp3.encode("gbk")) temp4=temp4.replace("'","") temp4=temp4.replace("
","") temp4=temp4.replace("","") temp4=temp4.replace("","") temp4=temp4.replace("&rsquo","") temp4=temp4.replace("&ldquo","") temp4=temp4.replace("&rdquo","") text=temp4.replace(";","'") #———————————————————————————————————————— # print self.mytool.replace_char(items[1]) print text myinput = raw_input() if myinput == "quit": self.enable = false break def start(self): self.enable = true page = self.page print u'正在加载中请稍候......' # 新建一个线程在后台加载段子并存储 thread.start_new_thread(self.loadpage,()) while self.enable: if self.pages: nowpage = self.pages[0] del self.pages[0] self.showpage(nowpage,page) page += 1 #----------- 程序的入口处 ----------- print u""" --------------------------------------- 程序:英语学习—爬虫 语言:python2.7 作者:xiantian 功能:按下回车依次浏览今日的英语资料 --------------------------------------- """ print u'请按下回车浏览今日新的内容:' raw_input(' ') mymodel = html_model() mymodel.start()