欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【Python3爬虫】selenium入门

程序员文章站 2022-03-18 16:25:17
selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。 环境配置: 1、Windows系统 ......

  selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。

 

环境配置:

  1、Windows系统

  2、Python3.5(已经安装好pip

  3、Chrome浏览器(下载地址:)

 

安装Selenium:

  推荐使用pip进行安装,代码如下:

pip install selenium

  安装好之后,可以在python命令行模式输入以下代码验证是否安装正确:

import selenium

 

安装Chromedriver:

  chromedriver版本和chrome版本的对应表如下:

chromedriver版本 支持的Chrome版本
v2.40 v66-68
v2.39 v66-68
v2.38 v65-67
v2.37 v64-66
v2.36 v63-65
v2.35 v62-64
v2.34 v61-63
v2.33 v60-62
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21 v46-50
v2.20 v43-48
v2.19 v43-47
v2.18 v43-46
v2.17 v42-43
v2.13 v42-45
v2.15 v40-43
v2.14 v39-42
v2.13 v38-41
v2.12 v36-40
v2.11 v36-40
v2.10 v33-36
v2.9 v31-34
v2.8 v30-33
v2.7 v30-33
v2.6 v29-32
v2.5 v29-32
v2.4 v29-32

附chromedriver下载链接:

 

基本使用:

  Selenium支持非常多的浏览器,如Chrome、Firefox、Edge等,还有Android、BlackBerry等手机端的浏览器。另外,也支持*面浏览器PhantomJS。

  我们可以用以下方式进行初始化:

from selenium import webdriver

browser = webdriver.Chrome()

  我们可以用get()方法来请求网页,参数传入链接URL即可,例如:

browser.get("https://www.baidu.com/")

  我们的第一个代码是要打开chrome浏览器,然后跳转到百度首页,再打印出网页源码,具体代码如下:

1 from selenium import webdriver
2 
3 browser = webdriver.Chrome(
4     executable_path="C:\\Users\Administrator\AppData\Local\Google\Chrome\Application\chromedriver.exe")
5 browser.get("https://www.baidu.com/")
6 print(browser.page_source)
7 browser.quit()