欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

CentOS7下python3 selenium3 使用Chrome的无头浏览器 截取网页全屏图片

程序员文章站 2022-05-27 09:01:54
...

前言

selenium是一个模拟浏览器的自动化执行框架,但是如果每次执行都要打开浏览器来处理任务的话,效率上都不高。最重要的是如果安装在Centos7服务器环境下,打开浏览器来模拟操作是更加不合适的,尤其是碰上需要截取网页图片这样的需求。

这时候就要考虑使用Chrome的无头浏览器模式了。所谓的无头浏览器模式也就是不需要打开浏览器,但是却可以起到模拟打开浏览器的执行效果,一切*面执行。

下面来看看如果安装部署到执行。

1.安装chrome

1.1 添加googlerepo

vim /etc/yum.repos.d/google.repo

在打开的空文件中填入以下内容

[google]
name=Google-x86_64
baseurl=http://dl.google.com/linux/rpm/stable/x86_64
enabled=1
gpgcheck=0
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

1.2 使用yum安装chrome浏览器

$ sudo yum makecache
$ sudo yum install google-chrome-stable -y

2.安装chromedriver驱动

2.1 查看chrome的版本

安装成功之后,查看安装的chrom版本如下:

[aaa@qq.com ~]# google-chrome --version
Google Chrome 78.0.3904.108 
[aaa@qq.com ~]# 
2.2 下载chromedriver

selenium如果想要执行chrome浏览器的话,是需要安装驱动chromedriver的,而下载chromedriver可以从两个地方去下载,点击访问如下:

那么其实一般都是访问国内的镜像地址,如下:

CentOS7下python3 selenium3 使用Chrome的无头浏览器 截取网页全屏图片

可以看到提供下载的版本挺多的,从上面看到刚刚安装的chrome版本号Google Chrome 78.0.3904.108,所以按照版本号大概搜索一下,如下:

CentOS7下python3 selenium3 使用Chrome的无头浏览器 截取网页全屏图片

点击最新的版本号进去,可以看到下载的系统版本,如下:

CentOS7下python3 selenium3 使用Chrome的无头浏览器 截取网页全屏图片

因为我准备安装在Centos7服务器上,所以选择linux64位的版本。

wget http://npm.taobao.org/mirrors/chromedriver/78.0.3904.105/chromedriver_linux64.zip
2.3 添加至环境变量$PATH

我将chromedriver_linux64.zip下载在/opt目录下,然后进行解压。最后写入环境配置文件/etc/profile即可。

# 1.进入opt目录
[aaa@qq.com opt]# cd /opt/
# 2.下载chromdirver
[aaa@qq.com opt]# wget http://npm.taobao.org/mirrors/chromedriver/78.0.3904.105/chromedriver_linux64.zip
# 3.解压zip包
[aaa@qq.com opt]# unzip chromedriver_linux64.zip 
# 4.得到一个二进制可执行文件
[aaa@qq.com opt]# ls -ll chromedriver
-rwxrwxr-x 1 root root 11610824 Nov 19 02:20 chromedriver
# 5. 创建存放驱动的文件夹driver
[aaa@qq.com opt]# mkdir -p /opt/driver/bin
# 6.将chromedirver放入文件夹driver中bin下
[aaa@qq.com opt]# mv chromedriver /opt/driver/bin/

配置环境变量如下:

[aaa@qq.com driver]# vim /etc/profile
...
# 添加内容
export DRIVER=/opt/driver
export PATH=$PATH:$DRIVER/bin

设置环境变量立即生效,并执行全局命令查看chromedirver版本:

[aaa@qq.com ~]# source /etc/profile
[aaa@qq.com ~]# 
[aaa@qq.com ~]# chromedriver --version
ChromeDriver 78.0.3904.105 (60e2d8774a8151efa6a00b1f358371b1e0e07ee2-refs/branch-heads/aaa@qq.com{#877})
[aaa@qq.com ~]# 

能全局执行chromedriver说明环境配置生效了。

3. 安装selenium

selenium可以在你项目的虚拟环境中简单地用pip安装

pip3 install selenium

执行查看安装的版本如下:

[aaa@qq.com selenium_ex]# pip3 install selenium
Looking in indexes: http://mirrors.tencentyun.com/pypi/simple
Collecting selenium
  Downloading http://mirrors.tencentyun.com/pypi/packages/80/d6/4294f0b4bce4de0abf13e17190289f9d0613b0a44e5dd6a7f5ca98459853/selenium-3.141.0-py2.py3-none-any.whl (904kB)
     |████████████████████████████████| 911kB 990kB/s 
Requirement already satisfied: urllib3 in /usr/local/python3/lib/python3.7/site-packages (from selenium) (1.25.6)
Installing collected packages: selenium
Successfully installed selenium-3.141.0
[aaa@qq.com selenium_ex]# 

4. 脚本测试

编写一个test.py的脚本,如下:

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
import time
import os.path

# 配置驱动路径
DRIVER_PATH = '/opt/driver/bin/chromedriver'

if __name__ == "__main__":
    # 设置浏览器
    options = Options()
    options.add_argument('--no-sandbox')
    options.add_argument('--headless')  # 无头参数
    options.add_argument('--disable-gpu')
    # 启动浏览器
    driver = Chrome(executable_path=DRIVER_PATH, options=options)
    driver.maximize_window()

    try:
        # 访问页面
        url = 'https://www.jianshu.com/u/a94f887f8776'
        driver.get(url)
        time.sleep(1)

        # 设置截屏整个网页的宽度以及高度
        scroll_width = 1600
        scroll_height = 1500
        driver.set_window_size(scroll_width, scroll_height)

        # 保存图片
        img_path = os.getcwd()
        img_name = time.strftime('%Y-%m-%d-%H-%M-%S', time.localtime(time.time()))
        img = "%s.png" % os.path.join(img_path, img_name)
        driver.get_screenshot_as_file(img)

        # 关闭浏览器
        driver.close()
        driver.quit()

    except Exception as e:
        print(e)

在服务器上执行如下:

[aaa@qq.com selenium_ex]# python3 test.py 
[aaa@qq.com selenium_ex]# 
[aaa@qq.com selenium_ex]# ls
2019-11-28-15-06-48.png  test.py
[aaa@qq.com selenium_ex]#

将图片下载查看一下,如下:

CentOS7下python3 selenium3 使用Chrome的无头浏览器 截取网页全屏图片

可以看到已经能够正常模拟浏览器登陆,并且截取网页的图片下来。可以从图片中看到,凡是中文的地方都是显示方框的符号,这是因为Centos7默认下是没有安装中文字体的,所以chrom浏览器打开就无法正常显示中文。

解决的方式只要给Centos7安装中文字体即可,这里就不多做介绍。

CentOS7下python3 selenium3 使用Chrome的无头浏览器 截取网页全屏图片