Docker数据卷

Docker数据卷原理

docker数据卷

• 数据卷是目录或文件,不是块设备。
• 容器可以读写volume中的数据。
• volume数据可以持久化保存。

为什么要用数据卷

• docker分层文件系统：性能差；生命周期与容器相同
• docker数据卷：mount到主机中，绕开分层文件系统；和主机磁盘性能相同，容器删除后依然保留；
  仅限本地磁盘，不能随容器迁移。
• docker提供了两种卷：bind mount，docker managed volume

bind mount

• 是将主机上的目录或文件mount到容器里。
• 使用直观高效，易于理解。
• 使用 -v 选项指定路径，格式 :
• bind mount 默认权限是读写rw，可以在挂载时指定只读ro。-v选项指定的路径，如果不存在，挂载时会自动创建。

docker managed volume

• bind mount必须指定host文件系统路径，限制了移植性。
• docker managed volume 不需要指定mount源，docker自动为容器创建数据卷目录。
• 默认创建的数据卷目录都在 /var/lib/docker/volumes 中。
• 如果挂载时指向容器内已有的目录，原有数据会被复制到volume中。

bind mount与docker managed volume对比

相同点：两者都是 host 文件系统中的某个路径。
不同点：

区别举例：

[[e-mail] _data]# docker run -d --name vm1 -v /data:/usr/share/nginx/html nginx     #将容器的nginx默认发布目录挂在到任意目录
[[e-mail] _data]# docker ps 
[[e-mail] _data]# docker inspect vm1
[[e-mail] _data]# curl 172.17.0.2    #403forbidden


[[e-mail] _data]# docker run -d --name vm2 -v vol1:/usr/share/nginx/html nginx    #指定挂载点/var/lib/docker/volumes/vol1/_data
[[e-mail] _data]# docker volume ls
[[e-mail] _data]# docker inspect vm2
[[e-mail] _data]# curl 172.17.0.3    #可以正常访问。

bind mount卷示例

• 创建容器。

[[e-mail] tmp]# mkdir data1
[[e-mail] tmp]# mkdir data2
[[e-mail] tmp]# docker run -it --name vm1 -v /tmp/data1:/data1 rhel7 bash
[[e-mail] tmp]# docker run -it --name vm2 -v /tmp/data2:/data2:ro rhel7 bash   #只读

• 测试挂载目录权限。
  
  

docker managed volume示例

• 查看现在所有的容器并清除，清除后发现管理卷仍然存在，这是我们就需要去清理它，不然会占用我们的资源。

[[e-mail] tmp]# docker ps -a 
[[e-mail] tmp]# docker rm -f vm1 vm2
[[e-mail] tmp]# docker ps  -a 
[[e-mail] ~]# docker volume ls 
[[e-mail] ~]# docker volume prune 
[[e-mail] ~]# docker volume ls 

• 使用registry镜像创建一个新的容器。

[[e-mail] tmp]# docker run -d --name registry registry:2 
[[e-mail] tmp]# docker volume ls

• 查看registry的相关信息。

[[e-mail] tmp]# docker inspect registry | grep Source

Source就是volume在host中的目录,是docker自动为容器生成的目录,如果
挂载时指向的已有目录,原有数据会被复制到volume中。
注意，即使删除容器，管理卷也不会删除。

• 我们会发现，docker自动生成的目录名称会很长，不方便书写使用。我们可以在创建容器时自己定义目录名称。
  首先，我们需要先创建卷。

[[e-mail] tmp]# docker volume create vol1     #创建卷vol1
vol1
[[e-mail] tmp]# docker volume ls
[[e-mail] tmp]# docker volume inspect vol1

• 接下来，创建新的容器并将管理卷voll挂载到容器内的指定目录。

[[e-mail] tmp]# docker run -d --name vm1 -v vol1:/var/lib/registry registry:2 
[[e-mail] tmp]# docker inspect vm1

卷插件

• docker 卷默认使用的是local类型的驱动,只能存在宿主机,跨主机的volume就需要使用第三方的驱动,可以查看一链接：https://docs.docker.com/engine/extend/legacy_plugins/#volume-plugins
• docker官方只提供了卷插件的api,开发者可以根据实际需求定制卷插件驱动。https://docs.docker.com/engine/extend/plugins_volume/#volume-plugin-protocol
  
• Docker Plugin 是以Web Service的服务运行在每一台Docker Host上的，通过HTTP协议传输RPC风格的JSON数据完成通信。
• Plugin的启动和停止，并不归Docker管理，Docker Daemon依靠在缺省路径下查找Unix Socket文件，自动发现可用的插件。
• 当客户端与Daemon交互，使用插件创建数据卷时，Daemon会在后端找到插件对应的 socket 文件，建立连接并发起相应的API请求，最终结合Daemon自身的处理完成客户端的请求。

convoy卷插件

• convoy卷插件支持三种运行方式:devicemapper、NFS、EBS。我们下面的实验以nfs的运行方式来演示。
• 下载软件：https://github.com/rancher/convoy/releases/download/v0.5.0/
  convoy.tar.gz
  

实验准备

准备两台主机，并安装好Docker服务

• 首先删除两台主机上所有的容器，删除之前的数据卷。

[[e-mail] tmp]# docker rm -f `docker ps -aq`   -q便是查询
[[e-mail] tmp]# docker volume rm vol1 
[[e-mail] tmp]# docker ps 
[[e-mail] tmp]# docker volume prune 
[[e-mail] tmp]# docker volume ls

• 在server1和server2上搭建nfs文件系统：
  server1：

[[e-mail] ~]# yum install nfs-utils.x86_64 -y
[[e-mail] ~]# systemctl start rpcbind    #rpcbind服务必须是开启的。这是因为：他是一个RPC服务，主要是在nfs共享时候负责通知客户端，服务器的nfs端口号的。简单理解rpc就是一个中介服务。
[[e-mail] ~]# mkdir /mnt/nfs     #创建共享目录
[[e-mail] ~]# chmod 777 /mnt/nfs/       #修改共享目录的权限
[[e-mail] ~]# vim /etc/exports   #编辑共享目录文件，否则将不会被共享出去，
[[e-mail] ~]# cat /etc/exports   
/mnt/nfs	*(rw,no_root_squash)       no_root_squash 当客户端使用哪个用户身份挂载时，沿用客户端的用户身份到服务器端
[[e-mail] ~]# systemctl start nfs
[[e-mail] ~]# showmount -e
Export list for server1:
/mnt/nfs *

server2上：

[[e-mail] ~]# yum install nfs-utils.x86_64 -y
[[e-mail] ~]# systemctl start rpcbind
[[e-mail] ~]# showmount -e 172.25.11.1
Export list for 172.25.11.1:
/mnt/nfs *
[[e-mail] ~]# mkdir /mnt/nfs
[[e-mail] ~]# mount 172.25.11.1:/mnt/nfs/ /mnt/nfs/
[[e-mail] ~]# df

测试：分别在server1和server2新建或删除文件测试。

[[e-mail] ~]# cd /mnt/nfs/
[[e-mail] nfs]# ls
file
[[e-mail] nfs]# rm -f file 
[[e-mail] nfs]# ls
[[e-mail] nfs]# 

[[e-mail] ~]# cd /mnt/nfs/
[[e-mail] nfs]# touch file
[[e-mail] nfs]# ls
file
[[e-mail] nfs]# ls
[[e-mail] nfs]# 

配置convoy环境

• docker官方只提供了卷插件的api,开发者可以根据实际需求定制卷插件驱动。
  server1：

[[e-mail] ~]# tar zxf convoy.tar.gz 
[[e-mail] ~]# cd convoy/
[[e-mail] convoy]# ls
convoy  convoy-pdata_tools  SHA1SUMS
[[e-mail] convoy]# mv convoy convoy-pdata_tools /usr/local/bin/
[[e-mail] convoy]# cd /usr/local/bin/
[[e-mail] bin]# ls
convoy  convoy-pdata_tools
[[e-mail] bin]# scp convoy convoy-pdata_tools server2:/usr/local/bin/
[[e-mail] bin]# convoy daemon --drivers vfs --driver-opts vfs.path=/mnt/nfs &   #值的注意的是：第一次运行上面的convoy daemon命令的时候,会在/mnt/nfs目录下生成一个config文件夹,这个文件夹不要删除
,不然客户端的convoy命令就会用不了

[[e-mail] bin]# cd /mnt/nfs/
[[e-mail] nfs]# ls
config
[[e-mail] nfs]# cd /var/run/
[[e-mail] run]# ll convoy/convoy.sock 
srwxr-xr-x 1 root root 0 Aug  6 10:36 convoy/convoy.sock
[[e-mail] run]# pwd
/var/run
[[e-mail] run]# mkdir /etc/docker/plugins
[[e-mail] run]# echo "unix:///var/run/convoy/convoy.sock" > /etc/docker/plugins/convoy.spec    #将convoy守护进程开启生成的.sock文件放入/etc/docker/plugins目录下的convoy.spec文件中,
docker就可以识别。(其中convoy.spec文件之前是不存在的)
[[e-mail] run]# cat /etc/docker/plugins/convoy.spec
unix:///var/run/convoy/convoy.sock

创建卷

• 创建卷：convoy create vol1
• 自动生成数据目录：/mnt/nfs/vol1/

[[e-mail] nfs]# docker volume ls 
DRIVER              VOLUME NAME
[[e-mail] nfs]# convoy create vol1
vol1
[[e-mail] nfs]# ll
total 0
drwx------ 2 root root 34 Aug  6 10:44 config
drwx------ 2 root root  6 Aug  6 10:44 vol1
[[e-mail] nfs]# convoy list    #列出所有卷

• 在server2上配置convoy环境.

[[e-mail] run]# convoy daemon --drivers vfs --driver-opts vfs.path=/mnt/nfs &
[[e-mail] run]# echo "unix:///var/run/convoy/convoy.sock" > /etc/docker/plugins/convoy.spec
[[e-mail] run]# cd /mnt/nfs/
[[e-mail] nfs]# ls
config  vol1
[[e-mail] nfs]# convoy list

操作卷

• 列出所有卷。

[[e-mail] nfs]# convoy list
{
	"vol1": {
		"Name": "vol1",
		"Driver": "vfs",
		"MountPoint": "",
		"CreatedTime": "Tue Aug 06 10:44:41 +0800 2019",
		"DriverInfo": {
			"Driver": "vfs",
			"MountPoint": "",
			"Path": "/mnt/nfs/vol1",
			"PrepareForVM": "false",
			"Size": "0",
			"VolumeCreatedAt": "Tue Aug 06 10:44:41 +0800 2019",
			"VolumeName": "vol1"
		},
		"Snapshots": {}
	}
}

• 使用卷。

[[e-mail] bin]# docker run -it --name vm1 -v vol1:/data --volume-driver=convoy ubuntu

[[e-mail] nfs]# docker run -it --name vm1 -v vol1:/data --volume-driver=convoy ubuntu

• 由上可知server1和server2上看到的内容一致,即不同主机间实现了共享存储。

创建convoy卷的快照

[[e-mail] bin]# convoy snapshot create vol1 --name voll_pic   #--name前面的是卷名，加--name，否则卷名会随即分配。
[[e-mail] bin]# convoy list

总结

convoy卷插件子命令

convoy list		列出卷
convoy delete		删除卷
convoy snapshot create	创建快照
convoy snapshot delete	删除快照
convoy backup create		创建备份
convoy create res1 --backup <url>		还原备份