python正则表达式抓取成语网站
1、首先找到一个在线成语网站
2、查看网页结构,定义正则式
看一下要抓的成语的标签有什么特点,查看源码,可以发现要抓的成语都在<a>标签中,如:<a href="/cy0/93.html">安如磐石</a>,成语事实上就是一个瞄文本,不同成语指向的链接不同,其实也就"/cy0/93.html"中的数字不同,所以正则式里匹配两次数字就行了,定义正则式 reg = "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"。
3、上代码吧
#anthor jiqunpeng
#time 20121124
import urllib
import re
def gethtml(url): #从url中读取html内容
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
def getdictionary(html): #匹配成语
reg = "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"
diclist = re.compile(reg).findall(html)
return diclist
def getitemsite():#手工把每个字母开头的页面数统计下来
itemsite = {}#申明为空字典
itemsite["a"] = 3
itemsite["b"] = 21
itemsite["c"] = 19
itemsite["d"] = 18
itemsite["e"] = 2
itemsite["f"] = 14
itemsite["g"] = 13
itemsite["h"] = 15
itemsite["j"] = 23
itemsite["k"] = 6
itemsite["l"] = 15
itemsite["m"] = 12
itemsite["n"] = 5
itemsite["o"] = 1
itemsite["p"] = 6
itemsite["q"] = 16
itemsite["r"] = 8
itemsite["s"] = 26
itemsite["t"] = 12
itemsite["w"] = 13
itemsite["x"] = 16
itemsite["y"] = 35
itemsite["a"] = 21
return itemsite
if __name__== "__main__":
dicfile = open("dic.txt","w+")#保存成语的文件
domainsite = "http://chengyu.itlearner.com/list/"
itemsite = getitemsite()
for key,values in itemsite.items():
for index in range(1,values+1):
site = key +"_"+str(index)+".html"
dictionary = getdictionary(gethtml(domainsite+site))
for dic in dictionary:
dicfile.write(dic[2]+"@@cy\n")#标记为成语,分词时使用
print key+'字母成语抓取完毕'
dicfile.close()
print '全部成语抓取完毕'
把成语保存在了txt文本中,还添加了一个后缀标签。
最后注意,设计正则表达式时可能会出现明明认为是正确的,就是匹配不了,对空白字符要留意,比如说要解析:
<div class="avatar_name">
<a href="/u/kkun/" title="kkun">kkun</a>
</div>
你看不出第一行与第二行的空白字符是什么,可以index = html.find('avatar_name'),html[4677:4677+100]看到非空白字符。