欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

使用selenium和第三方浏览器插件驱动完成搜狐网页信息爬取

程序员文章站 2022-05-09 21:13:38
...
from selenium import webdriver
driver = webdriver.Chrome('chromedriver.exe')#引入驱动
driver.get('https://sohu.com')#选定url
#print(driver.page_source)#打印网页
#print(driver.current_url)#打印网址
#eles = driver.find_elements_by_class_name('txt')#多对象必须使用elements
#eles = driver.find_elements_by_tag_name('footer')#用提取tag的方法查找页表
#eles = driver.find_elements_by_name('Keywords')#用查找名称的方法查找名称
# for ele in eles:
#     #print(ele.text)
#     print(ele.get_attribute('content'))#使用.text来查找,attribute可以查找属性
eles = driver.find_elements_by_xpath('/html/body/div[3]/div/nav')
for ele in eles:
    print(ele.text)
driver.close()#关闭
driver.quit()#中途退出
#find_elements_by_class_name()#使用classname查找
#find_elements_by_xpath()#使用xpath查找
相关标签: python数据分析