python3调用Chrome进行简单文本爬虫
程序员文章站
2022-07-12 15:00:13
...
python3解释器外,还需安装谷歌浏览器,下载编译selenium模块,下载chromedriver.exe至python目录中的Scripts文件夹中
import re #python自带模块
from selenium import webdriver #selenium模块需自行安装
driver=webdriver.Chrome() #调用谷歌浏览器驱动
url=“https://www.juzimi.com/writer/%E4%B9%94%E5%B8%83%E6%96%AF”
driver,get(url)
pagesource=driver.page_source #获取url数据
#定义正则表达式提取可用文本
restr1="class=\"xlistju\">[^\x00-\xff]{8,}"
regex1=re.compile(restr1,re.IGNORECASE)
mylist1=regex1.findall(pahesource)
mystr1="\n".join(mylist1)#列表转化为字符串
restr2="[^\x00-\xff0-9]+"#正则表达式第二次筛选
regex2=re.compile(restr2,re.IGNORECASE)
mylist2=regex2.findall(mystr1)
mystr2="\n".join(mylist2)
#将提取出来的信息写入文件
inFile=open("G:/notepad.txt","w+",encoding="utf-8"
inFile.write(mystr2)
inFile.close()
下一篇: 一个static的问题