荐 Python selenium 爬虫教学
python 环境请先自主安装哦O(∩_∩)O
前期工作
先安装 chrome driver
插件网站:chrome driver
在插件网站找到对应的下载:
解压移动:
有版本号显示成功
mac下记得,一定要放开权限!!!!
先上图演示结果:
只展示一部分,因为数据源太多了,最后会放出完整代码
原理就是,代码控制浏览器,异步加载数据之后,可以获取完整的网页数据
(此网站仅供参考使用,请大家测试别的数据,原理都是一样的)
必要库,记得导入
import time
from selenium import webdriver
from selenium.webdriver.common.by import By # 与下面的2个都是等待时要用到
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
登录部分:
先查看网页的数据:登录网站
网页怎么查看就不教学了
1、获取两个input的xpath
代码:填充用户名密码:
url = 'http://www.mirrorpsy.cn/index.php?s=member&c=login&m=index'
driver = webdriver.Chrome()
driver.get(url)
wait = WebDriverWait(driver, 25)
driver.maximize_window() # 窗口最大化
user = wait.until(
EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[1]/input')))
user.send_keys('xxxx') # 用户密码就不暴露了
pw = wait.until(
EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[2]/input')))
pw.send_keys('xxxxx')
print('login param input success')
直接运行,可看到浏览器自动启动,并且输入了用户名密码
2、登录
获取登录按钮的xpath
login = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="myform"]/div/div[4]/button'))) # 登录按钮
login.click()
print('login success')
time.sleep(10)
睡10s为了使网页完全加载
3、cookies
有些网站会用到cookies,但是这个网站【没有用到】,把获取cookies的贴出来
cookies = driver.get_cookies()
cookie_list = []
for dict in cookies:
cookie = dict['name'] + '=' + dict['value']
cookie_list.append(cookie)
cookie = ';'.join(cookie_list)
print('cookie' + cookie)
4、正式爬取数据,获取图片链接
这一段就是需要的图片列表(分页过会讲)
直接查看 ul 标签的xpath(这里就不教了,上面有查看的方法)
//*[@id=“cn_perio_list”]
获取后拿到 ul 下面的标签li:
items = driver.find_element_by_xpath('//*[@id="cn_perio_list"]')
lis = items.find_elements_by_xpath('li')
获取的 li 是个集合,遍历获取子标签 a,并获取 a 的属性 src
for li in lis:
imgs = li.find_element_by_tag_name('img')
print(imgs)
print(imgs.get_attribute('src'))
image_list.append(imgs.get_attribute('src'))
这样,一页的数据就好了
分页
下面有分页标签,但是此网站比较特殊,动态加载页数的,最后一页的内容一直变
所以直接采用下一页的方式,若ul中没有li了,就跳出死循环即可:
当然页数怎么获取,也提供出来(但是没用)
# 本来想做页数解析的,但是他的页数动态改变,所以页数就不用了
pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
a = pages.find_elements_by_xpath('a')
pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
print('page:' + str(pageEle.text))
page = int(pageEle.text)
以上就完成了爬取
完整代码:
import time
from selenium import webdriver
from selenium.webdriver.common.by import By # 与下面的2个都是等待时要用到
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
if __name__ == "__main__":
url = 'http://www.mirrorpsy.cn/index.php?s=member&c=login&m=index'
driver = webdriver.Chrome()
driver.get(url)
wait = WebDriverWait(driver, 25)
driver.maximize_window() # 窗口最大化
user = wait.until(
EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[1]/input')))
user.send_keys('xxx') #想要测试可留言
pw = wait.until(
EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[2]/input')))
pw.send_keys('xxxx')
print('login param input success')
login = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="myform"]/div/div[4]/button'))) # 登录按钮
login.click()
print('login success')
time.sleep(10)
cookies = driver.get_cookies()
cookie_list = []
for dict in cookies:
cookie = dict['name'] + '=' + dict['value']
cookie_list.append(cookie)
cookie = ';'.join(cookie_list)
print('cookie' + cookie)
print('get knowledge')
# 学科知识
url_knowledge = 'http://www.mirrorpsy.cn/index.php?s=xkzs'
# 心理视频
url_video = 'http://www.mirrorpsy.cn/index.php?s=video'
# 心理音频
url_jyxl = 'http://www.mirrorpsy.cn/index.php?s=jyxl'
# 心理图片
url_photo = 'http://www.mirrorpsy.cn/index.php?s=photo'
# 学术论文
url_xslw = 'http://www.mirrorpsy.cn/index.php?s=xslw'
# 心理案例
url_xlal = 'http://www.mirrorpsy.cn/index.php?s=xlal'
# 心理专家
url_news = 'http://www.mirrorpsy.cn/index.php?s=news'
# driver.get(url_photo)
# 本来想做页数解析的,但是他的页数动态改变,所以页数就不用了
# pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
# a = pages.find_elements_by_xpath('a')
# pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
# print('page:' + str(pageEle.text))
# page = int(pageEle.text)
image_list = []
pageWeb = 0
while True:
print('get page:' + str(pageWeb))
url_pic = 'http://www.mirrorpsy.cn/index.php?s=photo&c=search&page=' + str(pageWeb + 1)
driver.get(url_pic)
items = driver.find_element_by_xpath('//*[@id="cn_perio_list"]')
lis = items.find_elements_by_xpath('li')
print('len:' + str(len(lis)))
if len(lis) == 0:
break
for li in lis:
imgs = li.find_element_by_tag_name('img')
print(imgs)
print(imgs.get_attribute('src'))
image_list.append(imgs.get_attribute('src'))
time.sleep(5)
pageWeb = pageWeb + 1
# pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
# a = pages.find_elements_by_xpath('a')
# pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
# page = int(pageEle.text)
print('图片爬取结束')
print('图片集合结果:' + str(image_list))
time.sleep(500000)
谢谢啦,关注一波吧,以后每周不定期更新
本文地址:https://blog.csdn.net/u013377003/article/details/107297982
下一篇: 初试python爬虫(我爬我自己的博客)
推荐阅读
-
python3通过selenium爬虫获取到dj商品的实例代码
-
python利用selenium进行浏览器爬虫
-
python爬虫系列Selenium定向爬取虎扑篮球图片详解
-
selenium python虚拟点击网页 爬虫翻页功能 href=javascript:void(0)怎么翻页
-
荐 python爬虫实战1-基础代码篇1
-
Python selenium爬虫实现定时任务过程解析
-
Python爬虫使用selenium爬取qq群的成员信息(全自动实现自动登陆)
-
Python爬虫 selenium
-
小白学 Python 爬虫:自动化测试框架 Selenium 从入门到实战
-
Python爬虫之Selenium库的使用方法