01.GPU云服务器直通方式实现
1、 设备环境
1.1 硬件环境：
-
• NF5280M5 4路服务器
• NVIDIA Tesla V100
1.2软件环境：
-
• Ubuntu 16.04.5 LTS (GNU/Linux 4.15.0-36-generic x86_64)
• Openstack Queens版本
2、 配置操作系统
2.1 方法及步骤：
（1）BIOS中打开硬件辅助虚拟化功能
VT（VT-x）及VT-d支持，需要将相关支持设置为enable，默认开启
路径：Processor—IIO Configuration—Intel@ VT for Directed I/O(VT-d)
（2）配置intel_iommu=on
执行命令：sudo vi /etc/default/grub
在GRUB_CMDLINE_LINUX_DEFAULT字段添加 intel_iommu=on iommu=pt rd.driver.pre=vfio-pci
在GRUB_CMDLINE_LINUX字段添加 intel_iommu=on iommu=pt rd.driver.pre=vfio-pci
（3）修改内核模块文件/etc/modules
修改内核模块文件/etc/modules，里面列出的模块会在系统启动时自动加载。
执行命令：vi /etc/modules
添加以下内容：
pci_stub
vfio
vfio_iommu_type1
vfio_pci
kvm
kvm_intel
（4）更新grub.cfg文件
执行命令：sudo update-grub 或使用sudo grub-mkconfig -o /boot/grub/grub.cfg
（5）重启操作系统开启 Intel_iommu=on
（6）检查VT-d（AMD芯片时是 IOV）是否工作
执行命令：dmesg | grep IOMMU 或 dmesg | grep -e DMAR -e IOMMU 检查VT-d（AMD芯片时是 IOV）是否工作。若没有相应输出（IOMMU enabled 必须有），需要重新检查之前的步骤。
（7）添加黑名单
添加黑名单，使卡不被占用。
执行命令：sudo vim /etc/modprobe.d/blacklist.conf
最后添加内容：
#NVIDIA config
blacklist snd_hda_intel
blacklist amd76x_edac
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv
（8）设置vfio并隔离用于直通的GPU
在/etc/modprobe.d下添加文件vfio.conf
执行命令：
cd /etc/modprobe.d
touch vfio.conf （创建文档）（如果出现touch: cannot touch 'vfio.conf': Permission denied 先执行sudo chmod -R 777 /etc/modprobe.d ）
文档内写入内容：options vfio-pci ids=10de:1db6 (其中10de:1db6由9得来)
（9）查看pci设备信息
使用命令：lspci -nn | grep NVIDIA
如果不是NVIDIA的显卡，可以换自己显卡的关键字查询。重查询结果上注意查看自己独立显卡（也就是要直通的显卡）的设备ID和地址，形如： [10de 1b80] 和 [10de 10f0]， 01.00.0和01.00.1。（Gefore显卡一般会集成一个声卡芯片）
其中GPU设备各值含义：
3b:00.0 和 86:00.0 以 ”bus:slot.func“ 格式来唯一标识一个 PCI 设备
0302 设备模式 0300: Graphics -- 代表为图形模式 0302:Compute -- 则表明为计算模式
10de 厂商识别字段（Vendor ID），10de代表此设备来自NVIDIA公司
1db6 标明特定的设备，由厂商来分配
a1 设备的版本识别代码，其值由厂商提供
（10）查看pci设备驱动
执行命令：lspci -vv -s 3b:00.0 | grep driver
没有输出说明没有驱动.
如果有输出信息如下：
lspci -vv -s 3b:00.0 | grep driver
>Kernel driver in use: nouveau （ubuntu系统为显卡绑定的默认驱动）
lspci -vv -s 01:00.1 | grep driver
>Kernel driver in user: snd_hda_intel （显卡上附带的集成声卡的默认驱动）
（11）将PCI设备相关驱动解绑
如果（10）中出现执行后有输出，需进行设备解绑
执行命令：（每个卡都要解绑）
echo 0000: 3b:00.0 > /sys/bus/pci/devices/0000\:3b\:00.0/driver/unbind
echo 0000:01:00.1 > /sys/bus/pci/devices/0000\:01\:00.1/driver/unbind
（12）将PCI设备绑定到VFIO
引入VFIO 用户态驱动框架，向用户提供配置IOMMU接口，实现PCI设备在虚拟化场景透传。
解绑设备 (命令执行上面11)，并绑定到VFIO：
加载VFIO执行命令：
sudo modprobe vfio
sudo modprobe vfio-pci
执行完重启系统，重新启动主机并检查GPU是否在不同的IOMMU组中隔离，以及
正在使用vfio驱动程序.
执行命令检查GPU是否在不同的IOMMU组中隔离：
find /sys/kernel/iommu_groups/*/devices/*
执行命令进行绑定：
echo 10de 1db6 > /sys/bus/pci/drivers/vfio-pci/new_id
查看驱动是否绑定（每个卡都要看一下），执行命令：
lspci -vv -s 3b:00.0 | grep driver
如果出现 Kernel driver in use : vfio-pci 说明绑定成功。
3、 配置openstack
3.1 方法及步骤：
（1）配置nova-scheduler （controller节点），编辑文件 /etc/nova/nova.conf
[scheduler] 没有修改，用的默认
scheduler_driver=nova.scheduler.filter_scheduler.FilterScheduler
[filter_scheduler] 默认有,此处没有修改
available_filters=nova.scheduler.filters.all_filters
available_filters=nova.scheduler.filters.pci_passthrough_filter.PciPassthroughFilter
[DEFAULT]修改此处
scheduler_default_filters=RamFilter,ComputeFilter,AvailabilityZoneFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,PciPassthroughFilter
（2）重启nova-scheduler 服务
执行命令：sudo service nova-scheduler restart
（3）配置nova-api （controller节点），编辑文件 /etc/nova/nova.conf:
[PCI] 添加内容
alias = {"name":"nvidia_v100","product_id":"1db6","vendor_id":"10de","device_type":"type-PCI"}
（4）重启nova-api服务
执行命令：sudo service nova-api restart
（5）配置nova-compute（compute 节点），编辑文件/etc/nova/nova.conf:
[PCI] 添加内容
passthrough_whitelist = { "vendor_id":"10de","product_id":"1db6" }
alias = {"name":"nvidia_v100","product_id":"1db6","vendor_id":"10de","device_type":"type-PCI"}
（6）重启nova-compute服务
执行命令：sudo service nova-compute restart
4、 创建GPU服务器验证绑定
4.1 方法及步骤：
（1）创建主机聚合
(2) 创建Flavor 添加属性
(3) 创建云服务器
执行命令： openstack server create --network vlan-161 --image ecs-ubuntu1604-x64-20181220 --flavor 513dfb0c-132b-4fb9-903a-ffd131cce6d7 test-gpu-1
（4）进入创建的GPU服务器验证挂载
执行命令：lspci -nn | grep NVIDIA
推荐阅读