python批量获取html内body内容的实例
程序员文章站
2022-08-28 12:34:57
现在有一批完整的关于介绍城市美食、景点等的html页面,需要将里面body的内容提取出来
方法:利用python插件beautifulsoup获取htmlbody标签的内...
现在有一批完整的关于介绍城市美食、景点等的html页面,需要将里面body的内容提取出来
方法:利用python插件beautifulsoup获取htmlbody标签的内容,并批量处理。
# -*- coding:utf8 -*- from bs4 import beautifulsoup import os import os.path import sys reload(sys) sys.setdefaultencoding('utf8') def printpath(level,path): global allfilenum #所有文件夹,第一个字段是此目录的级别 dirlist = [] #所有文件 filelist = [] #返回一个列表,其中包含在目录条目的名称 files = os.listdir(path) #先添加目录级别 dirlist.append(str(level)) for f in files: if(os.path.isdir(path+'/'+f)): #排除隐藏文件夹,因为隐藏文件夹过多 if(f[0] == '.'): pass else: #添加隐藏文件夹 dirlist.append(f) if(os.path.isfile(path+'/'+f)): #添加文件 filelist.append(f) return (dirlist,filelist) #将文件html文件抓取并写入指定txt文件 def getandinsert(rootdir,savepath,path): global file_num f_list = os.listdir(rootdir+'/'+path) for i in f_list: temp = os.path.splitext(i)[0] for num in range(1,11): if(i==str(num)+'.html'): #print rootdir+'/'+path+'/'+i objfile = open(rootdir+'/'+path+'/'+i) soup = beautifulsoup(objfile) arr = [] for child in soup.body: arr.append(child) if os.path.exists(savepath+'/'+path): pass else: os.makedirs(savepath+'/'+path) f = open(savepath+'/'+path+'/'+temp+'.txt','w') for k,v in enumerate(arr): if k!=1: f.write(str(v)) f.close() print path+'/'+i+' is running' file_num = file_num + 1 rootdir = '../zips2' dirlist,filelist = printpath(1,rootdir) savepath = "../testc" file_num = 0 for fn in dirlist: if(fn == '1'): pass else: getandinsert(rootdir,savepath,fn) print fn+' is ending' print '一共完成'+str(file_num)+'个城市的提取'
以上这篇python批量获取html内body内容的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
上一篇: python生成器与迭代器详解
推荐阅读
-
python3爬虫获取html内容及各属性值的方法
-
python写入并获取剪切板内容的实例
-
python的xpath获取div标签内html内容,实现innerhtml功能的方法
-
python批量获取html内body内容的实例
-
python 爬虫 批量获取代理ip的实例代码
-
在Python中使用CasperJS获取JS渲染生成的HTML内容的教程
-
python3爬虫获取html内容及各属性值的方法
-
在Python中使用CasperJS获取JS渲染生成的HTML内容的教程
-
JS获取表格内指定单元格html内容的方法_javascript技巧
-
JS获取表格内指定单元格html内容的方法_javascript技巧