欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

荐 Python selenium 爬虫教学

程序员文章站 2022-06-23 09:38:31
python 环境请先自主安装哦O(∩_∩)O前期工作先安装 chrome driver插件网站:chrome driver在插件网站找到对应的下载:解压移动:有版本号显示成功mac下记得,一定要放开权限!!!!先上图演示结果:只展示一部分,因为数据源太多了,最后会放出完整代码原理就是,代码控制浏览器,异步加载数据之后,可以获取完整的网页数据(此网站仅供参考使用,请大家测试别的数据,原理都是一样的)必要库,记得导入import timefrom selenium i...

python 环境请先自主安装哦O(∩_∩)O

前期工作

先安装 chrome driver
插件网站:chrome driver
荐
                                                        Python selenium 爬虫教学
在插件网站找到对应的下载:

荐
                                                        Python selenium 爬虫教学
解压移动:
荐
                                                        Python selenium 爬虫教学
有版本号显示成功
荐
                                                        Python selenium 爬虫教学
mac下记得,一定要放开权限!!!!
荐
                                                        Python selenium 爬虫教学
先上图演示结果:

荐
                                                        Python selenium 爬虫教学荐
                                                        Python selenium 爬虫教学
只展示一部分,因为数据源太多了,最后会放出完整代码
原理就是,代码控制浏览器,异步加载数据之后,可以获取完整的网页数据
(此网站仅供参考使用,请大家测试别的数据,原理都是一样的)


必要库,记得导入

import time
from selenium import webdriver
from selenium.webdriver.common.by import By  # 与下面的2个都是等待时要用到
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

登录部分:
先查看网页的数据:登录网站
网页怎么查看就不教学了
荐
                                                        Python selenium 爬虫教学

1、获取两个input的xpath

荐
                                                        Python selenium 爬虫教学
代码:填充用户名密码:

	url = 'http://www.mirrorpsy.cn/index.php?s=member&c=login&m=index'
    driver = webdriver.Chrome()
    driver.get(url)
    wait = WebDriverWait(driver, 25)
    driver.maximize_window()  # 窗口最大化
    user = wait.until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[1]/input')))
    user.send_keys('xxxx') # 用户密码就不暴露了
    pw = wait.until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[2]/input')))
    pw.send_keys('xxxxx')
    print('login param input success')

直接运行,可看到浏览器自动启动,并且输入了用户名密码

2、登录

获取登录按钮的xpath

	login = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="myform"]/div/div[4]/button')))  # 登录按钮
    login.click()
    print('login success')
    time.sleep(10)

睡10s为了使网页完全加载

3、cookies

有些网站会用到cookies,但是这个网站【没有用到】,把获取cookies的贴出来

	cookies = driver.get_cookies()
    cookie_list = []
    for dict in cookies:
        cookie = dict['name'] + '=' + dict['value']
        cookie_list.append(cookie)
    cookie = ';'.join(cookie_list)
    print('cookie' + cookie)

4、正式爬取数据,获取图片链接

这一段就是需要的图片列表(分页过会讲)
荐
                                                        Python selenium 爬虫教学
直接查看 ul 标签的xpath(这里就不教了,上面有查看的方法)

//*[@id=“cn_perio_list”]

获取后拿到 ul 下面的标签li:

items = driver.find_element_by_xpath('//*[@id="cn_perio_list"]')
lis = items.find_elements_by_xpath('li')

获取的 li 是个集合,遍历获取子标签 a,并获取 a 的属性 src

for li in lis:
    imgs = li.find_element_by_tag_name('img')
    print(imgs)
    print(imgs.get_attribute('src'))
    image_list.append(imgs.get_attribute('src'))

这样,一页的数据就好了

分页

下面有分页标签,但是此网站比较特殊,动态加载页数的,最后一页的内容一直变

荐
                                                        Python selenium 爬虫教学

荐
                                                        Python selenium 爬虫教学

所以直接采用下一页的方式,若ul中没有li了,就跳出死循环即可:
荐
                                                        Python selenium 爬虫教学
当然页数怎么获取,也提供出来(但是没用)

# 本来想做页数解析的,但是他的页数动态改变,所以页数就不用了
pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
a = pages.find_elements_by_xpath('a')
pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
print('page:' + str(pageEle.text))
page = int(pageEle.text)

以上就完成了爬取
荐
                                                        Python selenium 爬虫教学
完整代码:

import time

from selenium import webdriver
from selenium.webdriver.common.by import By  # 与下面的2个都是等待时要用到
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

if __name__ == "__main__":
    url = 'http://www.mirrorpsy.cn/index.php?s=member&c=login&m=index'
    driver = webdriver.Chrome()
    driver.get(url)
    wait = WebDriverWait(driver, 25)
    driver.maximize_window()  # 窗口最大化
    user = wait.until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[1]/input')))
    user.send_keys('xxx') #想要测试可留言
    pw = wait.until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="myform"]/div/div[2]/input')))
    pw.send_keys('xxxx')
    print('login param input success')
    login = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="myform"]/div/div[4]/button')))  # 登录按钮
    login.click()
    print('login success')
    time.sleep(10)

    cookies = driver.get_cookies()
    cookie_list = []
    for dict in cookies:
        cookie = dict['name'] + '=' + dict['value']
        cookie_list.append(cookie)
    cookie = ';'.join(cookie_list)
    print('cookie' + cookie)
    print('get knowledge')
    # 学科知识
    url_knowledge = 'http://www.mirrorpsy.cn/index.php?s=xkzs'
    # 心理视频
    url_video = 'http://www.mirrorpsy.cn/index.php?s=video'
    # 心理音频
    url_jyxl = 'http://www.mirrorpsy.cn/index.php?s=jyxl'
    # 心理图片
    url_photo = 'http://www.mirrorpsy.cn/index.php?s=photo'
    # 学术论文
    url_xslw = 'http://www.mirrorpsy.cn/index.php?s=xslw'
    # 心理案例
    url_xlal = 'http://www.mirrorpsy.cn/index.php?s=xlal'
    # 心理专家
    url_news = 'http://www.mirrorpsy.cn/index.php?s=news'

    # driver.get(url_photo)
    # 本来想做页数解析的,但是他的页数动态改变,所以页数就不用了
    # pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
    # a = pages.find_elements_by_xpath('a')
    # pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
    # print('page:' + str(pageEle.text))
    # page = int(pageEle.text)
    image_list = []
    pageWeb = 0
    while True:
        print('get page:' + str(pageWeb))
        url_pic = 'http://www.mirrorpsy.cn/index.php?s=photo&c=search&page=' + str(pageWeb + 1)
        driver.get(url_pic)
        items = driver.find_element_by_xpath('//*[@id="cn_perio_list"]')
        lis = items.find_elements_by_xpath('li')
        print('len:' + str(len(lis)))
        if len(lis) == 0:
            break
        for li in lis:
            imgs = li.find_element_by_tag_name('img')
            print(imgs)
            print(imgs.get_attribute('src'))
            image_list.append(imgs.get_attribute('src'))
        time.sleep(5)
        pageWeb = pageWeb + 1
        # pages = driver.find_element_by_xpath('//*[@id="laypage_1"]')
        # a = pages.find_elements_by_xpath('a')
        # pageEle = pages.find_element_by_xpath('//*[@id="laypage_1"]/a[' + str(len(a) - 1) + ']')
        # page = int(pageEle.text)

    print('图片爬取结束')
    print('图片集合结果:' + str(image_list))
    time.sleep(500000)

谢谢啦,关注一波吧,以后每周不定期更新

本文地址:https://blog.csdn.net/u013377003/article/details/107297982