py3nvml实现GPU相关信息读取的案例分析

在深度学习或者其他类型的gpu运算过程中，对于gpu信息的监测也是一个非常常用的功能。如果仅仅是使用系统级的gpu监测工具，就没办法非常细致的去跟踪每一步的显存和使用率的变化。如果是用profiler，又显得过于细致，而且环境配置、信息输出和筛选并不是很方便。此时就可以考虑使用py3nvml这样的工具，针对于gpu任务执行的过程进行细化的分析，有助于提升gpu的利用率和程序执行的性能。

技术背景

随着模型运算量的增长和硬件技术的发展，使用gpu来完成各种任务的计算已经渐渐成为算法实现的主流手段。而对于运行期间的一些gpu的占用，比如每一步的显存使用率等诸如此类的信息，就需要一些比较细致的gpu信息读取的工具，这里我们重点推荐使用py3nvml来对python代码运行的一个过程进行监控。

常规信息读取

一般大家比较常用的就是nvidia-smi这个指令，来读取gpu的使用率和显存占用、驱动版本等信息：

$ nvidia-smi
wed jan 12 15:52:04 2022
+-----------------------------------------------------------------------------+
| nvidia-smi 470.42.01    driver version: 470.42.01    cuda version: 11.4     |
|-------------------------------+----------------------+----------------------+
| gpu  name        persistence-m| bus-id        disp.a | volatile uncorr. ecc |
| fan  temp  perf  pwr:usage/cap|         memory-usage | gpu-util  compute m. |
|                               |                      |               mig m. |
|===============================+======================+======================|
|   0  quadro rtx 4000     on   | 00000000:03:00.0  on |                  n/a |
| 30%   39c    p8    20w / 125w |    538mib /  7979mib |     16%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+
|   1  quadro rtx 4000     on   | 00000000:a6:00.0 off |                  n/a |
| 30%   32c    p8     7w / 125w |      6mib /  7982mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| processes:                                                                  |
|  gpu   gi   ci        pid   type   process name                  gpu memory |
|        id   id                                                   usage      |
|=============================================================================|
|    0   n/a  n/a      1643      g   /usr/lib/xorg/xorg                412mib |
|    0   n/a  n/a      2940      g   /usr/bin/gnome-shell               76mib |
|    0   n/a  n/a     47102      g   ...aaaaaaaaa= --shared-files       35mib |
|    0   n/a  n/a    172424      g   ...aaaaaaaaa= --shared-files       11mib |
|    1   n/a  n/a      1643      g   /usr/lib/xorg/xorg                  4mib |
+-----------------------------------------------------------------------------+

但是如果不使用profile仅仅使用nvidia-smi这个指令的输出的话，是没有办法非常细致的分析程序运行过程中的变化的。这里顺便推荐一个比较精致的跟nvidia-smi用法非常类似的小工具：gpustat。这个工具可以直接使用pip进行安装和管理：

$ python3 -m pip install gpustat
collecting gpustat
  downloading gpustat-0.6.0.tar.gz (78 kb)
     |████████████████████████████████| 78 kb 686 kb/s
requirement already satisfied: six>=1.7 in /home/dechin/.local/lib/python3.8/site-packages (from gpustat) (1.16.0)
collecting nvidia-ml-py3>=7.352.0
  downloading nvidia-ml-py3-7.352.0.tar.gz (19 kb)
requirement already satisfied: psutil in /home/dechin/.local/lib/python3.8/site-packages (from gpustat) (5.8.0)
collecting blessings>=1.6
  downloading blessings-1.7-py3-none-any.whl (18 kb)
building wheels for collected packages: gpustat, nvidia-ml-py3
  building wheel for gpustat (setup.py) ... done
  created wheel for gpustat: filename=gpustat-0.6.0-py3-none-any.whl size=12617 sha256=4158e741b609c7a1bc6db07d76224db51cd7656a6f2e146e0b81185ce4e960ba
  stored in directory: /home/dechin/.cache/pip/wheels/0d/d9/80/b6cbcdc9946c7b50ce35441cc9e7d8c5a9d066469ba99bae44
  building wheel for nvidia-ml-py3 (setup.py) ... done
  created wheel for nvidia-ml-py3: filename=nvidia_ml_py3-7.352.0-py3-none-any.whl size=19191 sha256=70cd8ffc92286944ad9f5dc4053709af76fc0e79928dc61b98a9819a719f1e31
  stored in directory: /home/dechin/.cache/pip/wheels/b9/b1/68/cb4feab29709d4155310d29a421389665dcab9eb3b679b527b
successfully built gpustat nvidia-ml-py3
installing collected packages: nvidia-ml-py3, blessings, gpustat
successfully installed blessings-1.7 gpustat-0.6.0 nvidia-ml-py3-7.352.0

使用的时候也是跟nvidia-smi非常类似的操作：

$ watch --color -n1 gpustat -cpu 

返回结果如下所示：

every 1.0s: gpustat -cpu                   ubuntu2004: wed jan 12 15:58:59 2022

ubuntu2004           wed jan 12 15:58:59 2022  470.42.01
[0] quadro rtx 4000  | 39'c,   3 % |   537 /  7979 mb | root:xorg/1643(412m) de
chin:gnome-shell/2940(75m) dechin:slack/47102(35m) dechin:chrome/172424(11m)
[1] quadro rtx 4000  | 32'c,   0 % |     6 /  7982 mb | root:xorg/1643(4m)

通过gpustat返回的结果，包含了gpu的型号、使用率和显存使用大小和gpu当前的温度等常规信息。

py3nvml的安装与使用

接下来正式看下py3nvml的安装和使用方法，这是一个可以在python中实时查看和监测gpu信息的一个库，可以通过pip来安装和管理：

$ python3 -m pip install py3nvml
collecting py3nvml
  downloading py3nvml-0.2.7-py3-none-any.whl (55 kb)
     |████████████████████████████████| 55 kb 650 kb/s
requirement already satisfied: xmltodict in /home/dechin/anaconda3/lib/python3.8/site-packages (from py3nvml) (0.12.0)
installing collected packages: py3nvml
successfully installed py3nvml-0.2.7

py3nvml绑定gpu卡

有一些框架为了性能的最大化，在初始化的时候就会默认去使用到整个资源池里面的所有gpu卡，比如如下使用jax来演示的一个案例：

in [1]: import py3nvml

in [2]: from jax import numpy as jnp

in [3]: x = jnp.ones(1000000000)

in [4]: !nvidia-smi
wed jan 12 16:08:32 2022
+-----------------------------------------------------------------------------+
| nvidia-smi 470.42.01    driver version: 470.42.01    cuda version: 11.4     |
|-------------------------------+----------------------+----------------------+
| gpu  name        persistence-m| bus-id        disp.a | volatile uncorr. ecc |
| fan  temp  perf  pwr:usage/cap|         memory-usage | gpu-util  compute m. |
|                               |                      |               mig m. |
|===============================+======================+======================|
|   0  quadro rtx 4000     on   | 00000000:03:00.0  on |                  n/a |
| 30%   41c    p0    38w / 125w |   7245mib /  7979mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+
|   1  quadro rtx 4000     on   | 00000000:a6:00.0 off |                  n/a |
| 30%   35c    p0    35w / 125w |    101mib /  7982mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| processes:                                                                  |
|  gpu   gi   ci        pid   type   process name                  gpu memory |
|        id   id                                                   usage      |
|=============================================================================|
|    0   n/a  n/a      1643      g   /usr/lib/xorg/xorg                412mib |
|    0   n/a  n/a      2940      g   /usr/bin/gnome-shell               75mib |
|    0   n/a  n/a     47102      g   ...aaaaaaaaa= --shared-files       35mib |
|    0   n/a  n/a    172424      g   ...aaaaaaaaa= --shared-files       11mib |
|    0   n/a  n/a    812125      c   /usr/local/bin/python            6705mib |
|    1   n/a  n/a      1643      g   /usr/lib/xorg/xorg                  4mib |
|    1   n/a  n/a    812125      c   /usr/local/bin/python              93mib |
+-----------------------------------------------------------------------------+

在这个案例中我们只是在显存中分配了一块空间用于存储一个向量，但是jax在初始化之后，自动占据了本地的2张gpu卡。根据jax官方提供的方法，我们可以使用如下的操作配置环境变量，使得jax只能看到其中的1张卡，这样就不会扩张：

in [1]: import os

in [2]: os.environ["cuda_visible_devices"] = "1"

in [3]: from jax import numpy as jnp

in [4]: x = jnp.ones(1000000000)

in [5]: !nvidia-smi
wed jan 12 16:10:36 2022
+-----------------------------------------------------------------------------+
| nvidia-smi 470.42.01    driver version: 470.42.01    cuda version: 11.4     |
|-------------------------------+----------------------+----------------------+
| gpu  name        persistence-m| bus-id        disp.a | volatile uncorr. ecc |
| fan  temp  perf  pwr:usage/cap|         memory-usage | gpu-util  compute m. |
|                               |                      |               mig m. |
|===============================+======================+======================|
|   0  quadro rtx 4000     on   | 00000000:03:00.0  on |                  n/a |
| 30%   40c    p8    19w / 125w |    537mib /  7979mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+
|   1  quadro rtx 4000     on   | 00000000:a6:00.0 off |                  n/a |
| 30%   35c    p0    35w / 125w |   7195mib /  7982mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| processes:                                                                  |
|  gpu   gi   ci        pid   type   process name                  gpu memory |
|        id   id                                                   usage      |
|=============================================================================|
|    0   n/a  n/a      1643      g   /usr/lib/xorg/xorg                412mib |
|    0   n/a  n/a      2940      g   /usr/bin/gnome-shell               75mib |
|    0   n/a  n/a     47102      g   ...aaaaaaaaa= --shared-files       35mib |
|    0   n/a  n/a    172424      g   ...aaaaaaaaa= --shared-files       11mib |
|    1   n/a  n/a      1643      g   /usr/lib/xorg/xorg                  4mib |
|    1   n/a  n/a    813030      c   /usr/local/bin/python            7187mib |
+-----------------------------------------------------------------------------+

可以看到结果中已经是只使用了1张gpu卡，达到了我们的目的，但是这种通过配置环境变量来实现的功能还是着实不够pythonic，因此py3nvml中也提供了这样的功能，可以指定某一系列的gpu卡用于执行任务：

in [1]: import py3nvml

in [2]: from jax import numpy as jnp

in [3]: py3nvml.grab_gpus(num_gpus=1,gpu_select=[1])
out[3]: 1

in [4]: x = jnp.ones(1000000000)

in [5]: !nvidia-smi
wed jan 12 16:12:37 2022
+-----------------------------------------------------------------------------+
| nvidia-smi 470.42.01    driver version: 470.42.01    cuda version: 11.4     |
|-------------------------------+----------------------+----------------------+
| gpu  name        persistence-m| bus-id        disp.a | volatile uncorr. ecc |
| fan  temp  perf  pwr:usage/cap|         memory-usage | gpu-util  compute m. |
|                               |                      |               mig m. |
|===============================+======================+======================|
|   0  quadro rtx 4000     on   | 00000000:03:00.0  on |                  n/a |
| 30%   40c    p8    20w / 125w |    537mib /  7979mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+
|   1  quadro rtx 4000     on   | 00000000:a6:00.0 off |                  n/a |
| 30%   36c    p0    35w / 125w |   7195mib /  7982mib |      0%      default |
|                               |                      |                  n/a |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| processes:                                                                  |
|  gpu   gi   ci        pid   type   process name                  gpu memory |
|        id   id                                                   usage      |
|=============================================================================|
|    0   n/a  n/a      1643      g   /usr/lib/xorg/xorg                412mib |
|    0   n/a  n/a      2940      g   /usr/bin/gnome-shell               75mib |
|    0   n/a  n/a     47102      g   ...aaaaaaaaa= --shared-files       35mib |
|    0   n/a  n/a    172424      g   ...aaaaaaaaa= --shared-files       11mib |
|    1   n/a  n/a      1643      g   /usr/lib/xorg/xorg                  4mib |
|    1   n/a  n/a    814673      c   /usr/local/bin/python            7187mib |
+-----------------------------------------------------------------------------+

可以看到结果中也是只使用了1张gpu卡，达到了跟上一步的操作一样的效果。

查看空闲gpu

对于环境中可用的gpu，py3nvml的判断标准就是在这个gpu上已经没有任何的进程，那么这个就是一张可用的gpu卡：

in [1]: import py3nvml

in [2]: free_gpus = py3nvml.get_free_gpus()

in [3]: free_gpus
out[3]: [true, true]

当然这里需要说明的是，系统应用在这里不会被识别，应该是会判断守护进程。

命令行信息获取

跟nvidia-smi非常类似的，py3nvml也可以在命令行中通过调用py3smi来使用。值得一提的是，如果需要用nvidia-smi来实时的监测gpu的使用信息，往往是需要配合watch -n来使用的，但是如果是py3smi则不需要，直接用py3smi -l就可以实现类似的功能。

$ py3smi -l 5
wed jan 12 16:17:37 2022
+-----------------------------------------------------------------------------+
| nvidia-smi                        driver version: 470.42.01                 |
+---------------------------------+---------------------+---------------------+
| gpu fan  temp perf pwr:usage/cap|        memory-usage | gpu-util compute m. |
+=================================+=====================+=====================+
|   0 30%   39c    8   19w / 125w |   537mib /  7979mib |       0%    default |
|   1 30%   33c    8    7w / 125w |     6mib /  7982mib |       0%    default |
+---------------------------------+---------------------+---------------------+

+-----------------------------------------------------------------------------+
| processes:                                                       gpu memory |
| gpu        owner      pid      uptime  process name                   usage |
+=============================================================================+
+-----------------------------------------------------------------------------+

可以看到略有区别的是，这里并不像nvidia-smi列出来的进程那么多，应该是自动忽略了系统进程。

单独查看驱动版本和显卡型号

在py3nvml中把查看驱动和型号的功能单独列了出来：

in [1]: from py3nvml.py3nvml import *
in [2]: nvmlinit()
out[2]: <cdll 'libnvidia-ml.so.1', handle 560ad4d07a60 at 0x7fd13aa52340>
in [3]: print("driver version: {}".format(nvmlsystemgetdriverversion()))
driver version: 470.42.01
in [4]: devicecount = nvmldevicegetcount()
   ...: for i in range(devicecount):
   ...:     handle = nvmldevicegethandlebyindex(i)
   ...:     print("device {}: {}".format(i, nvmldevicegetname(handle)))
   ...:
device 0: quadro rtx 4000
device 1: quadro rtx 4000
in [5]: nvmlshutdown()

这样也不需要我们自己再去逐个的筛选，从灵活性和可扩展性上来说还是比较方便的。

单独查看显存信息

这里同样的也是把显存的使用信息单独列了出来，不需要用户再去单独筛选这个信息，相对而言比较细致：

in [1]: from py3nvml.py3nvml import *
in [2]: nvmlinit()
out[2]: <cdll 'libnvidia-ml.so.1', handle 55ae42aadd90 at 0x7f39c700e040>
in [3]: handle = nvmldevicegethandlebyindex(0)
in [4]: info = nvmldevicegetmemoryinfo(handle)
in [5]: print("total memory: {}mib".format(info.total >> 20))
total memory: 7979mib
in [6]: print("free memory: {}mib".format(info.free >> 20))
free memory: 7441mib
in [7]: print("used memory: {}mib".format(info.used >> 20))
used memory: 537mib

如果把这些代码插入到程序中，就可以获悉每一步所占用的显存的变化。

总结概要

在深度学习或者其他类型的gpu运算过程中，对于gpu信息的监测也是一个非常常用的功能。如果仅仅是使用系统级的gpu监测工具，就没办法非常细致的去跟踪每一步的显存和使用率的变化。如果是用profiler，又显得过于细致，而且环境配置、信息输出和筛选并不是很方便。此时就可以考虑使用py3nvml这样的工具，针对于gpu任务执行的过程进行细化的分析，有助于提升gpu的利用率和程序执行的性能。

版权声明

本文首发链接为：https://www.cnblogs.com/dechinphy/p/py3nvml.html

作者id：dechinphy

更多原著文章请参考：https://www.cnblogs.com/dechinphy/

打赏专用链接：https://www.cnblogs.com/dechinphy/gallery/image/379634.html

腾讯云专栏同步：https://cloud.tencent.com/developer/column/91958

参考链接

https://zhuanlan.zhihu.com/p/31558973 “留一手”加剧内卷，“讲不清”浪费时间。

到此这篇关于py3nvml实现gpu相关信息读取的文章就介绍到这了,更多相关py3nvml gpu信息读取内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！