欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python3调用Chrome进行简单文本爬虫

程序员文章站 2022-07-12 15:00:13
...

python3解释器外,还需安装谷歌浏览器,下载编译selenium模块,下载chromedriver.exe至python目录中的Scripts文件夹中

import re		#python自带模块
from selenium import webdriver		#selenium模块需自行安装
driver=webdriver.Chrome()		#调用谷歌浏览器驱动
url=“https://www.juzimi.com/writer/%E4%B9%94%E5%B8%83%E6%96%AF”
driver,get(url)
pagesource=driver.page_source	#获取url数据
#定义正则表达式提取可用文本
restr1="class=\"xlistju\">[^\x00-\xff]{8,}"
regex1=re.compile(restr1,re.IGNORECASE)
mylist1=regex1.findall(pahesource)
mystr1="\n".join(mylist1)#列表转化为字符串
restr2="[^\x00-\xff0-9]+"#正则表达式第二次筛选
regex2=re.compile(restr2,re.IGNORECASE)
mylist2=regex2.findall(mystr1)
mystr2="\n".join(mylist2)
#将提取出来的信息写入文件
inFile=open("G:/notepad.txt","w+",encoding="utf-8"
inFile.write(mystr2)
inFile.close()