Python 爬虫爬取网页

工具：python 2.7

import urllib
import urllib2

def getPage(url)://爬去网页的方法
    request=urllib.Request(url)//访问网页
    reponse=urllib2.urlopen(request)返回网页
    return response.read()//读取网页内容

url='所需要爬取的网址'

txt='保存成html文件存放的地址'//例如：txt='D:\\result.html'

request=getPage(url)

f.open(txt,'+w')//创建的文件
f.write(result)//将内容写入所创建的文件中

print 'finish'//表明已经下载完成
f.close()