Ubuntu16.04下安装Cuda8.0+Caffe+TensorFlow-gpu+Pycharm过程（2018年1月23）

软件版本:

安装包之间的支持关系要理清，支持关系弄好后安装的过程就会少很多麻烦。
CUDA 、Cudnn 、Anaconda 、Opencv 都是为Caffe 和Tensorflow服务的

系统版本：Ubuntu16.04
Anaconda [Python2.7] （版本忘了，推荐最新的，老版本的Gcc版本太低，后面编译caffe会出现错误,需要升级GCC）
显卡驱动：375.26 （试过384.111和测试时提示与CUDA8.0版本不兼容）
Cuda 8.0
Cudnn v6（tensorflow1.4.1 不支持V7）
下载地址：https://developer.nvidia.com/rdp/cudnn-download
Opencv-3.4.0
Matlab 2016b
Caffe (2018年1月23 github最新版本)
tensorflow 1.4.1 版本

---

- 0、首先安装Anacnonda

- 1、安装NVIDIA驱动&&CUDA

安装CUDA时候，选择安装合适版本的NVIDIA驱动。
注意：需要在安装驱动前禁用X服务

sudo service lightdm stop

在https://developer.nvidia.com/cuda-downloads，根据自己的系统下载对应的runfile文件。
下载后运行sudo ./cuda_8.0.61_375.26_linux.run
1、运行后，首先是协议。按空格到底后，输入accept

Do you accept the previously read EULA?
accept/decline/quit: accept

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 367.48?
(y)es/(n)o/(q)uit: y

Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y

Enter Toolkit Location
[ default is /usr/local/cuda-8.0 ]:

Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y

Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: y

2、声明环境变量 运行sudo gedit ~/.bashrc 在文件末尾添加

export CUDA_HOME=/usr/local/cuda
export PATH=$PATH:$CUDA_HOME/bin
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

保存退出，运行source ~/.bashrc

3、测试
测试前可以先把samples备份下

cd /usr/local/cuda/samples/1_Utilities/deviceQuery 
sudo make
./deviceQuery

测试结果如下即可

- 2、安装Cudnn

官网下载cudnn下载后进行解压
解压后把相应的文件拷贝到对应的CUDA目录下即可

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

- 3、安装Caffe

caffe的安装步骤比较繁琐，需要Opencv等软件，所需依赖库比较多。

主要分为 个步骤：

1、安装Opencv
从官网(http://opencv.org/downloads.html)下载Opencv
解压到要安装的位置，假设解压的地址是/home/opencv
执行命令： `
cd ~/opencv
mkdir build
cd build
运行：

    cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..

在编译中可能会出现 ippicv 下载不成功的问题，可以通过手动配置来解决这类问题，当然也可以直接配置之后再编译。在进行配置之前，首先前往GitHub下载相应的库https://github.com/opencv/opencv_3rdparty/branches/all 下载后，拷贝到

opencv-x.x.x/3rdparty/ippicv/downloads/linux-808b791a6eac9ed78d32a7666804320e

目录下，然后再运行编译。

编译成功后，运行sudo make install进行安装

2、测试Opencv
a. 创建工作目录

mkdir ~/opencv-lena
cd ~/opencv-lena
gedit DisplayImage.cpp

b.编辑代码

#include <stdio.h>
#include <opencv2/opencv.hpp>
using namespace cv;
int main(int argc, char** argv )
{
    if ( argc != 2 )
    {
        printf("usage: DisplayImage.out <Image_Path>\n");
        return -1;
    }
    Mat image;
    image = imread( argv[1], 1 );
    if ( !image.data )
    {
        printf("No image data \n");
        return -1;
    }
    namedWindow("Display Image", WINDOW_AUTOSIZE );
    imshow("Display Image", image);
    waitKey(0);
    return 0;
}

c.创建CMake编译文件

gedit CMakeLists.txt

写入内容

cmake_minimum_required(VERSION 2.8)
project( DisplayImage )
find_package( OpenCV REQUIRED )
add_executable( DisplayImage DisplayImage.cpp )
target_link_libraries( DisplayImage ${OpenCV_LIBS} )

d.编译

cd ~/opencv-lena
cmake .
make

e.执行
此时opencv-lena文件夹中已经产生了可执行文件DisplayImage，下载lena.jpg放在opencv-lena下，运行

./DisplayImage lena.jpg

4、安装Matlab
如果在Matlab中使用的话，需要安装Matlab,需要在后续中进行Matlab接口的编译。

5、Caffe安装

1、从https://github.com/BVLC/caffe.git下载caffe到本地
2、解压后，在caffe-master中复制配置文件sudo cp Makefile.config.example Makefile.config
3、修改配置文件sudo gedit Makefile.config根据个人情况进行修改

a.若使用cudnn，则将
#USE_CUDNN := 1
修改成： 
USE_CUDNN := 1

b.若使用的opencv版本是3的，则将
#OPENCV_VERSION := 3 
修改为： 
OPENCV_VERSION := 3

c.若要使用python来编写layer，则将
#WITH_PYTHON_LAYER := 1 
修改为 
WITH_PYTHON_LAYER := 1

d.重要的一项 :
将# Whatever else you find you need goes here.下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改为： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial     
这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.

e.还要更改
USE_OPENCV: = 1
USE_LEVELDB: = 1
USE_LMDB: = 1

6、编译

make all -j8 #-j根据自己电脑配置决定

a:可能错误”libcudart.so.8.0 cannot open shared object file: No such file or directory”

a.错误"libcudart.so.8.0 cannot open shared object file: No such file or directory"
解决办法是将一些文件复制到/usr/local/lib文件夹下：(#注意自己CUDA的版本号！)
sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig

输出显示如下CXX，无错误提示说明编译通过。

8、测试

a.运行sudo make test 输出显示若干CXX，LD如下即可

b.运行sudo make runtest 输出的所有的RUN均为OK即可确认caffe安装成功

9、配置pycaffe接口

测试全部成功之后再进行pycaffe接口的配置
a.打开配置文件bashrc

sudo gedit ~/.bashrc

b.在最后面加入caffe目录下的python路径

export PYTHONPATH=/home/yhangbin/caffe-master/python #添加自己的python路径
source ~/.bashrc  #使配置生效

c.配置接口 sudo make pycaffe
显示如下表明借口配置成功

10、配置caffe的Matlab接口

a.修改caffe-master/Makefile.config.主要是要包含bin文件夹

b.编译接口sudo make matcaffe
c.测试matlab接口 sudo make mattest
测试结果输出如下所示：

d.测试python接口 sudo make pytest
　输出如下即可
　　　　　

11、测试Caffe

使用 MNIST数据集 进行测试
a.终端定位到Caffe根目录 cd ~/caffe
b.下载MNIST数据库并解压缩sudo sh ./data/mnist/get_mnist.sh
c.将其转换成Lmdb数据库格式 sudo sh ./examples/mnist/create_mnist.sh

注意：
下载数据库以及转换数据库格式可以跳过。直接在这里下载。
解压得到两个文件夹mnist-train-leveldb和mnist-test-leveldb复制到 .\examples\mnist\ 目录下即可

在训练网络时可能会出现OSError: libcudnn.so.7.0: cannot open shared object file: No such file or directory错误
因为cuda的路径可能设置错了使用sudo ldconfig /usr/local/cuda/lib64
或者手动添加lib库自动搜索路径到/etc/ld.so.conf
比如：

include /etc/ld.so.conf.d/*.conf
include /usr/local/lib
include .
sudo ldconfig #使配置生效
source /etc/profile

运行sudo sh ./examples/mnist/train_lenet.sh测试效果如下

如果出现无法导入caffe模块的情况，使用

sudo gedit ~/.bashrc

在 bashrc中添加导入编译后的caffe文件位置

export PYTHONPATH=/root/caffe/python:$PYTHONPATH

便可以导入模块

- 5、安装TensorFlow

TensorFlow的安装还是比较简单的。

1、按照官网给的指令，执行 conda install tensorflow-gpu
3、在python中输入import tensorflow as tf测试

上面输出的带W的警告，是因为没有通过源代码编译TF，CPU的参数没有开启，因此CPU不支持一系列协议。不过，这只会影响CPU的计算速度，并不影响GPU的计算。
如果是在终端下运行，不显示这个警告。

- 6、在Pycharm中进行配置

1、Caffe配置成功后，在Pycharm中出现ImportError

Pycharm中TensorFlow可以直接import导入。但是在import caffe的时候会出现ImportError: No module named caffe的情况。可以通过手动添加库解决。
a.依次打开File>Setting>Project Interpreter.打开右上角的小齿轮。选择第三个选项 more...

b.选择选择最右侧边框上最后一个图标

c.点击右侧加号，增加路径

d.添加自己的Caffe下的Python路径

e.这样便可以成功导入Caffe测试效果如下

2、如果还有cannot libcudart 的错误

error:如果caffe还不能正常import 出现 cannot libcudart 的错误，那么用如下方法解决。

a.进入pycharm-community-2016.2/bin
b.使用sudo gedit pycharm.sh 打开pycharm.sh文件
c.

#找到这行
LD_LIBRARY_PATH="$IDE_BIN_HOME:$LD_LIBRARY_PATH" "$JAVA_BIN" \

#添加环境变量
LD_LIBRARY_PATH='/usr/local/cuda/lib64'

# 修改后为
LD_LIBRARY_PATH='/usr/local/cuda/lib64'
LD_LIBRARY_PATH="$IDE_BIN_HOME:$LD_LIBRARY_PATH" "$JAVA_BIN" \

d.重新启动pycharm，之前报错的脚本就能正常运行了
最后效果如下所示

Attention:有的命令加上sudo反而会出现错误，遇到错误的时候，可以尝试去掉sudo试一下

参考：
[1]:CUDA和TensorFlow http://blog.csdn.net/u014595019/article/details/53732015
[2]: Caffe（主） http://www.linuxdiyf.com/linux/24659.html
[3]: Caffe（辅） http://www.cnblogs.com/yushuo1990/p/5909680.html
[4]: Opencv测试 http://www.tuicool.com/articles/nYJrYra
[5]: matlab接口配置 http://www.cnblogs.com/laiqun/p/6031925.html
[6]: 解决Pycharm 中的Caffe导入问题http://blog.csdn.net/u011534057/article/details/61916621