08 Python爬虫之selenium

---恢复内容开始---

一. 先介绍图片懒加载技术

　　当获取一个网站的图片数据时，只能爬取到图片的名称，并不能获得链接，而且也不能获得xpath表达式。这是应用了图片懒加载技术。

　　- 图片懒加载技术的概念：

　　　　-- 图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”。

　　- 如何实现懒加载数据技术：

　　　　-- 在网页源码中，在img标签中首先会使用一个‘伪属性’（通常是src2，original等）去存放真正的图片链接，而不是直接存放在src属性中。当图片出现到页面可视化区域中，会将伪装属性替换成src属性，完成图片加载。

二. selenium

　　selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行javascript代码的问题selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、点击、下拉等等，拿到页面渲染之后的结果，并且selenium可以支持多种浏览器。

　　- 环境的安装

　　　　-- pip install selenium

　　　　-- 下载浏览器驱动程序：

　　　　　　http://chromedriver.storage.googleapis.com/index.html

 

　　　　-- 查看驱动和浏览器版本的映射关系

　　　　　　http://blog.csdn.net/huilan_same/article/details/51896672

　　简单使用

 1 from selenium import webdriver
 2 from time import sleep
 3 
 4 #后边是浏览器的驱动的位置，前面要加r‘’ ，是为了防止字符串转义
 5 driver = webdriver。chrome（r'驱动程序路径'）
 6 # 用get打开百度首页
 7 driver.get("https://baidu.com")
 8 # 查找页面的"设置"选项,并进行点击
 9 driver.find_elements_by_link_text('设置')[0].click()
10 sleep(2)#模拟人的行为
11 # 打开设置后找到"搜索设置"选项,设置为每页显示50条
12 driver.find_elements_by_link_text('搜索设置')[0].click()
13 sleep(2)
14 
15 
16 #选中每页显示50条
17 m = driver.find_element_by_id('id')
18 sleep(2)
19 m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
20 m.find_element_by_xpath('.//option[3]').click()
21 sleep(2)
22 
23 # 点击保存设置
24 driver.find_elements_by_class_name("prefpanelgo")[0].click()
25 sleep(2)
26 
27 # 处理弹出的警告页面 accept()和取消dismiss()
28 driver.switch_to_alert().accept()
29 sleep(2)
30 
31 #找到百度的输入框,并输入美女
32 #driver.find_element_by_id('kw').send_keys('美女')
33 sleep(2)
34 #点击搜索按钮
35 driver.find_element_by_id('su').click()
36 sleep(2)
37 #在打开的页面中找到"selenium - 开源社区",并打开这个页面
38 driver.find_element_by_link_text('美女_百度图片')[0].click()
39 sleep(3)
40 
41 #关闭浏览器
42 driver.quit()

 　　浏览器创建

　　selenium支持非常多的浏览器,如谷歌,火狐,edge,还有android,黑莓等手机端的浏览器 另外,也支持*面浏览器phantomjs.

1 from selenium import webserver
2 
3 browser  =  webserver.chrome()
4 browser = webdriver.chrome()
5 browser = webdriver.firefox()
6 browser = webdriver.edge()
7 browser = webdriver.phantomjs()
8 browser = webdriver.safari()

　　元素定位

　　webdriver提供了一系列的元素定位方法,常有的有如下:

1 find_element_by_id()
2 find_element_by_name()
3 find_element_by_class_name()
4 find_element_by_tag_name()
5 find_element_by_link_text()
6 find_element_by_xpath()
7 find_element_by_css_selector()

　　注意:

　　　　1.find_element_by_xxx找到的是第一个符合条件的标签,find_element_by_xxx找到的是符合条件的标签.

　　　　2.根据id,css选择器和xpath获取,它们返回的结果完全一致.

　　　　3.另外,selenium还提供通用方法find_element(),需要传入两个参数:查找方式by和值.实际上,它就是find_element_by_id()这种方法的通用函数版本,比如find_element_by_id(id)就等价于find_element(by.id,id),这两种方式得到的结果一致.

　　节点交互

　　selenium可以驱动浏览器来执行一些操作,也就是说可以让浏览器模拟执行一些动作.比较常见的用法有:输入文字时用send_keys()方法,清空文字时用clear()方法,点击按钮时用click()方法.

 1 from selenium import webdriver
 2 import time
 3 
 4 browser = webdriver.chrome()
 5 browser.get('https://www.taobao.com')
 6 imput = browser.find_element_by_id('q')
 7 input.send_keys('mac')
 8 time.sleep(1)
 9 input.clear()
10 input.send_keys('iphone')
11 button = browser.find_element_by_class_name('btn_search')
12 button.click()
13 time.sleep(3)
14 browser.quite()

　　动作链

　　上方示例中,一些交互动作都是针对某个节点执行的.如:输入框,我们就调用它的输入文字和清空文字的方法;对于按钮,就调用它的点击方法.有的操作,它们没有特定的执行对象,比如鼠标拖拽,键盘按键等,这些动作用另一种方式来执行就是动作链.

　　比如,现在实现一个节点的拖拽操作,将某个节点从一处拖拽到另一个地方,代码如下:

 1 from selenium import webdriver
 2 from selenium.webdriver import actionchains
 3 import time
 4 browser = webdriver.chrome()
 5 url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
 6 browser.get(url)
 7 browser.switch_to.frame('iframeresult')
 8 source = browser.find_element_by_css_selector('#draggable')
 9 target = browser.find_element_by_css_selector('#droppable')
10 actions = actionchains(browser)
11 # actions.drag_and_drop(source, target)
12 # actions.perform() #执行动作链
13 actions.click_and_hold(source)
14 time.sleep(3)
15 for i in range(5):
16     actions.move_by_offset(xoffset=17,yoffset=0).perform()
17     time.sleep(0.5)
18 
19 actions.release()

　　执行javascript

　　对于某些操作,seleniumapi并没有提供.比如: 下拉进度条,它可以直接模拟运行javascript,此时使用execute_script()方法即可实现,代码如下:

1 from selenium import webdriver
2 
3 browser = webdriver.chrome()
4 browser.get('https://www.jd.com')
5 browser.execute_script('window.scrollto(0,document.body.scrollheight)')
6 browser.execute_script('alert("123")')

　　获取页面源码数据

　　通过page_source属性可以获取网页的源代码,接着就可以使用解析库(如正则表达式、beautiful soup、pyquery等)来提取信息。

　　前进和后退

　　

 1 import time
 2 form selenium import webdriver
 3 
 4 browser = webdriver.chrome()
 5 browser.get('https://www.baidu.com')
 6 browser.get('https://www.taobao.com')
 7 browser.get('http://www.sina.com.cn/')
 8 
 9 
10 browser.back()
11 time.sleep(10)
12 browser.forward()
13 browser.close()

　　cookie处理

　　使用selenium,还可以方便的对cookie进行操作,例如添加获取、添加、删除cookie等。

 1 from selenium import webdriver
 2 
 3 
 4 browser = webserver.chrome()
 5 browser.get('http://www.zhihu.com/explore')
 6 print(browser.get_cookies())
 7 browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
 8 print(browser.get_cookies())
 9 browser.delete_all_cookies()
10 print(browser.get_cookies())

　　异常处理

 1 from selenium import webdriver
 2 from selenium.common.exceptions import timeoutexception,nosuchelementexception,nosuchframeexception
 3 
 4 
 5 try:
 6     browser=webdriver.chrome()
 7     browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
 8     browser.switch_to.frame('iframssseresult')
 9 
10 except timeoutexception as e:
11     print(e)
12 except nosuchframeexception as e:
13     print(e)
14 finally:
15     browser.close()

　　

　　phantomjs

　　phantomjs是一款*面的浏览器,它自动化操作流程和上述操作谷歌浏览器是一致的.由于是*面的,为了能够展示自动化操作流程,phantomjs为用户提供了一个截屏功能,是用哪个save_screenshot函数实现.

 1 from selenium import webdriver
 2 import time
 3 
 4 
 5 #phantomjs路径
 6 path = r'phantomjs驱动路径'
 7 browser = webdriver.phantomjs(path)
 8 
 9 
10 #打开百度
11 url = 'http://www.baidu.com/'
12 browser.get(url)
13 
14 time.sleep(3)
15 
16 browser.save_screenshot(r'phantomjs\baidu.png')
17 
18 
19 #查找input输入框
20 my_input = browser.find_element_by_id('kw')
21 #往筐里输入查询内容
22 my_input.send_keys('倪妮')
23 time.sleep(3)
24 #截屏
25 browser.save_screenshot(r'phantomjs\wife.png')
26 
27 
28 #查找搜索按钮
29 button = browser.find_elements_by_class_name('s_btn')[0]
30 button.click()
31 
32 time.sleep(3)
33 
34 browser.save_screenshot(r'phantomjs\son.png')
35 
36 time.sleep(3)
37 
38 browser.quit()

　　谷歌无头浏览器

　　是一种*面的谷歌浏览器

 1 from selenium import webdriver
 2 from selenium.webdriver.chrome.options import options
 3 import time
 4 
 5 #创建一个参数对象,用来控制chrome以*面模式打开
 6 chrome_options = options()
 7 chrome_options.add_argument('--headless')
 8 chrome_options.add_argument('--disable-gpu')
 9 #驱动路径
10 path = r'c:\users\zbli\desktop\1801\day05\ziliao\chromedriver.exe'
11 
12 
13 #创建浏览器对象
14 browser = webdriver.chrome(executable_path,chrome_options = chrome_options)
15 
16 
17 #上网
18 url = 'https://www.baidu.com/'
19 browser.get(url)
20 time.sleep(3)
21 
22 
23 browser.save_screenshot('baidu.png')
24 
25 
26 browser.quit()

二.示例

　　爬取豆瓣网中的电影信息

 1 from selenium import webdriver
 2 from time import sleep
 3 import time
 4 
 5 if __name__ == '__main__':
 6     url = 'https://movie.douban.com/typerank?type_name=%e6%81%90%e6%80%96&type=20&interval_id=100:90&action='
 7     # 发起请求前，可以让url表示的页面动态加载出更多的数据
 8     path = r'c:\users\administrator\desktop\爬虫授课\day05\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'
 9     # 创建*面的浏览器对象
10     bro = webdriver.phantomjs(path)
11     # 发起url请求
12     bro.get(url)
13     time.sleep(3)
14     # 截图
15     bro.save_screenshot('1.png')
16 
17     # 执行js代码（让滚动条向下偏移n个像素（作用：动态加载了更多的电影信息））
18     js = 'window.scrollto(0,document.body.scrollheight)'
19     bro.execute_script(js)  # 该函数可以执行一组字符串形式的js代码
20     time.sleep(2)
21 
22     bro.execute_script(js)  # 该函数可以执行一组字符串形式的js代码
23     time.sleep(2)
24     bro.save_screenshot('2.png') 
25     time.sleep(2) 
26     # 使用爬虫程序爬去当前url中的内容 
27     html_source = bro.page_source # 该属性可以获取当前浏览器的当前页的源码（html） 
28     with open('./source.html', 'w', encoding='utf-8') as fp: 
29         fp.write(html_source) 
30     bro.quit()

三.selenium规避被检测识别

　　正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 

undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢？

只需要设置chromedriver的启动参数即可解决问题。在启动chromedriver之前，为chrome开启实验性功能参数excludeswitches，它的值为['enable-automation']，完整代码如下

1 from selenium.webdriver import chrome
2 from selenium.webdriver import chromeoptions
3 
4 option = chromeoptions()
5 option.add_experimental_option('excludeswitches', ['enable-automation'])
6 driver = chrome(options=option)