SPDK Vhost在线恢复：让I/O飞一会儿
“常通风、勤洗手、戴口罩、少出门。”
“武汉加油、中国加油！”
喻津， 资深工程师， 主要从事SPDK的软件开发工作。
背景
在All in Cloud的趋势下，各大CSPs(Cloud Service Providers)在宣传自家的服务时都会向客户声称提供高可靠，高稳定的服务例如5个9的可用性(99.999%)。但是，仅仅以后端存储举例，技术和产品的升级等等都不可避免的需要他们进行在线升级，并且这个行为要在短时间内完成，这样才能满足5个9的标准。
Virtio是目前被广泛接受的I/O虚拟化的抽象设备接口，通过对virtqueue的定义实现了对不同虚拟化PCI设备的支持，广泛的运用在VM(Virtual Machine)中用来加速包括存储和网络等设备。Vhost是一种用来加速Guest到后端传输的软件解决方案，它基于virtio实现。然而查看已有的解决办法，并没有发现一种很好的支持在线升级的方法。
基于此，本文将介绍SPDK Vhost提供的一种方法，可以灵活，快速的实现在线升级。
Virto和Vhost的简单介绍
Virtio由OASIS[1](Advancing Open Standard For Information Society)定义，它是半虚拟化协议规范，规定Guest OS和Hypervisor通过定义的队列结构进行数据面通信，本文中的Hypervisor我们都使用QEMU来进行说明，这个队列在Virtio Spec中被定义为Virtqueue，它由三个部分组成如图1所示。
图1 Virtqueue Layout
Virtio offload到host叫做Vhost[2][3]，它可以在内核态或者用户态实现，在用户态中的实现称作vhost-user，它的解决方案如图2所示。简单的说它就是把Virtqueue offload到Vhost target，这样就实现了Guest OS和Vhost target的直接交互，进一步加速了数据的传递。
图2 SPDK Vhost
SPDK Vhost Live Recovery
以前的解决办法
主要是通过热迁移的方式，工作方式如图3所示。它的工作流程是当Server1 中的Vhost target需要升级时，就把Server1中的VMs服务迁移到Server2中，等到Server1 Vhost target升级完成，再把VMs重新迁移回来。
图3 Live Migration
但是这种方法有着很明显的局限性和缺陷，例如：
1，需要Server1和Server2 共享存储，否则热迁移是无意义的，后端的存储都改变了。很明显对于本地机器这种方式是不行的，而现在大热的bare metal也是不行的。
2，比较耗时，它需要服务从Server1移动到Server2，然后等到Server1升级结束后再从Server2迁移回来。当VMs数量较多时耗时也会增加。
所以，我们需要一种更高效，更灵活的热升级办法。
SPDK Vhost的实现
Vhost-user protocol[4]中提供了一种很好的方法叫做inflight I/O tracking。利用这个特性，vhost target会记录每一笔I/O request, 这样当vhost target升级重启后，可以继续处理升级前没有完成的I/O requests，保证不会有丢失。为了方便理解Vhost-user protocol，在这里稍微扩展一下vhost-user的实现。Vhost target 和 QEMU启动后通过 Unix domain socket进行通信，会协商包括virtio device features，vhost-user protocol features等特性，然后是memory table，virtqueue base address等等流程，如图4所示。Vhost target依据协商的结果提供相应的服务。
图4 inflight I/O tracking
SPDK Live recovery的工作流程如下图5所示：
图5 Recovery Workflow
这种方式和热迁移的方法相比有明显的优势，例如：
ü 更快，更好的升级。少了热迁移来回拷贝的时间。
ü 更少的限制，针对单机也可以很好的支持，也不需要共享的存储。
ü 对性能没有影响。Inflight buffer只需要存request descriptor的index就行。
测试
目前相关patch都已经在spdk 20.01中发布了。这项功能还需要QEMU的配合，而QEMU部分的patch也已经合入了，具体见commit 77542d431491。测试这项功能也非常简单，如下，先启动SPDK Vhost，然后启动QEMU，注意的是一定要配置reconnect参数，然后在QEMU中跑fio测试，测试过程中可以杀死spdk vhost进程然后重启，可以看到QEMU中的测试在spdk vhost进程重启后继续正常运行。
SPDK Vhost ROOT_DIR=spdk source code：
./app/vhost/vhost
./scripts/rpc.py bdev_nvme_attach_controller -b Nvme0 -tpcie -a 0000:60:00.0
./scripts/rpc.py vhost_create_blk_controllervhost.1 Nvme0n1
QEMU:
qemu-system-x86_64 \
--enable-kvm \
-cpu host -smp 2 \
-m 4G \
-object memory-backend-file,id=mem,size=4G,mem-path=/dev/hugepages,share=on\
-numa node,memdev=mem \
-objectmemory-backend-file,id=mem1,size=2M,mem-path=/dev/hugepages,share=on \
-drivefile=ubuntu-19.04.qcow2,if=none,id=disk \
-deviceide-hd,drive=disk,bootindex=0 \
-chardev socket,id=spdk_vhost_blk0,path=/xxxx/vhost.1,reconnect=1\
总结
本文介绍了SPDK Vhost在线恢复的功能，以及它的实现方法。非常感谢Baidu云的李琳、张宇、倪勋，是由他们发起并提交给SPDK社区，然后由社区完善了整个功能。
附录
[1], https://www.oasis-open.org
[2], https://www.sdnlab.com/21118.html
[3], https://www.sdnlab.com/22438.html
[4], https://github.com/qemu/qemu/blob/master/docs/interop/vhost-user.rst#id20
相关文章
北京峰会系列五|New File Accelerator and Recovery Feature in SPDK Vhost