TensorFlow和keras中GPU使用的设置操作

1. 训练运行时候指定gpu

运行时候加一行代码：

cuda_visible_devices=1 python train.py

2. 运行过程中按需或者定量分配gpu

tensorflow直接在开启session时候加几行代码就行，而keras指定gpu，并限制按需用量和tensorflow不太一样，因为keras训练是封装好的，不好对session操作。如下是两种对应的操作。

keras中的操作：

import os
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
 
# 指定第一块gpu可用 
os.environ["cuda_visible_devices"] = "0" #指定gpu的第二种方法
 
config = tf.configproto()
config.gpu_options.allocator_type = 'bfc' #a "best-fit with coalescing" algorithm, simplified from a version of dlmalloc.
config.gpu_options.per_process_gpu_memory_fraction = 0.3 #定量
config.gpu_options.allow_growth = true  #按需
set_session(tf.session(config=config)) 

tensorflow中的操作：

#指定gpu
import os
os.environ["cuda_visible_devices"] = "0"
 
#设置gpu定量分配
config = tf.configproto() 
config.gpu_options.per_process_gpu_memory_fraction = 0.9 # 占用gpu90%的显存 
session = tf.session(config=config)
 
#设置gpu按需分配
config = tf.configproto() 
config.gpu_options.allow_growth = true 
session = tf.session(config=config)

补充：keras以及tensorflow强制使用cpu，gpu

keras如果是使用theano后端的话，应该是自动不使用ｇｐｕ只是用ｃｐｕ的，启动ｇｐｕ使用theano内部命令即可。

对于tensorflow后端的keras以及tensorflow会自动使用可见的ｇｐｕ，而我需要其必须只运行在ｃｐｕ上。网上查到三种方法，最后一种方法对我有用，但也对三种都做如下记录：

使用tensorflow的 with tf.device('/cpu:0'):函数。简单操作就是把所有命令都放在前面所述的域里面。

使用tensorflow声明session时的参数： 关于tensorflow中session中的部分参数设置，以及keras如何设置其调用的tensorflow的session，可以参见keras设定gpu使用内存大小(tensorflow backend)。

对于tensorflow，声明session的时候加入device_count={'gpu':0}即可，代码如下：

import tensorflow as tf  
sess = tf.session(config=tf.configproto(device_count={'gpu':0}))

对于keras,则调用后端函数，设置其使用如上定义的session即可，代码如下：

import tensorflow as tf
import keras.backend.tensorflow_backend as ktf 
ktf.set_session(tf.session(config=tf.configproto(device_count={'gpu':0})))

对于多线程以及ｇｐｕ内存设置等可以参见keras设定gpu使用内存大小(tensorflow backend)。

3、第三种是使用cuda_visible_devices命令行参数，代码如下：

cuda_visible_devices="0" python3 train.py

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。