003.Ceph扩展集群
程序员文章站
2022-06-06 16:22:26
一 基础准备 参考《002.Ceph安装部署》文档部署一个基础集群。 二 扩展集群 2.1 扩展架构 需求:添加Ceph元数据服务器node1。然后添加Ceph Monitor和Ceph Manager node2,node3以提高可靠性和可用性。 2.2 添加元数据(metadata)服务器 提示 ......
一 基础准备
参考《002.ceph安装部署》文档部署一个基础集群。
二 扩展集群
2.1 扩展架构
需求:添加ceph元数据服务器node1。然后添加ceph monitor和ceph manager node2,node3以提高可靠性和可用性。
2.2 添加元数据(metadata)服务器
1 [manager@deploy my-cluster]$ ceph-deploy mds create node1
提示:要使用cephfs,您至少需要一个元数据服务器。
2.3 添加监视(monitor)服务器
1 [manager@deploy my-cluster]$ ceph-deploy mon add node2 2 [manager@deploy my-cluster]$ ceph-deploy mon add node3 3 [root@node1 ~]# ceph quorum_status --format json-pretty #查看仲裁(quorum)状态信息
提示:若出现如图所示报错,需要在ceph.conf中添加public_network,并重新推相关配置文件,操作如下:
1 [manager@deploy my-cluster]$ vi ceph.conf 2 [global] 3 #…… 4 public_network = 172.24.8.0/24 5 [manager@deploy my-cluster]$ ceph-deploy --overwrite-conf mon add node2 6 [manager@deploy my-cluster]$ ceph-deploy --overwrite-conf mon add node3
提示:ceph存储集群需要至少运行一个ceph monitor和ceph manager。为了实现高可用性,ceph存储集群通常运行多个ceph监视器,因此单个ceph监视器的故障不会导致ceph存储集群崩溃。ceph使用paxos算法,该算法需要大多数监视器(即,大于n/2,其中n是监视器的数量)才能形成法定人数。虽然这不是必需的,但监视器的数量往往更好。
2.4 添加管理员
1 [manager@deploy my-cluster]$ ceph-deploy mgr create node2 node3 2 [manager@deploy my-cluster]$ ssh node1 sudo ceph -s #查看验证
提示:ceph manager守护进程以active/standby模式运行。部署其他管理器守护程序可确保在一个守护程序或主机发生故障时,另一个守护程序或主机可以在不中断服务的情况下接管。
2.5 添加rgw
1 [manager@deploy my-cluster]$ ceph-deploy rgw create node1
提示:要使用ceph的ceph对象网关组件,必须部署rgw实例;
三 客户端存储示例
3.1 创建pool
1 [manager@deploy my-cluster]$ ssh node1 sudo ceph osd pool create mytest 64 2 [manager@deploy my-cluster]$ ssh node1 sudo rados lspools 3 [manager@deploy my-cluster]$ ssh node1 sudo ceph osd lspools 4 [manager@deploy my-cluster]$ ssh node1 sudo ceph osd dump | grep pool
提示:以上三种可以查看已经存在的pool信息,第三种方式查看的结果最为详细。
3.2 客户端模拟
1 [root@node3 ~]# echo 'this is my test file!' >> test.txt #创建模拟文件 2 [root@node3 ~]# rados put test-object-1 test.txt --pool=mytest
3.3 查看确认
1 [manager@deploy my-cluster]$ ssh node1 sudo rados -p mytest ls #查看存储的对 2 test-object-1
3.4 定位对象
1 [manager@deploy my-cluster]$ ssh node1 sudo ceph osd map mytest test-object-1 #定位对象到相应的归置组 2 osdmap e30 pool 'mytest' (5) object 'test-object-1' -> pg 5.74dc35e2 (5.22) -> up ([2,1,0], p2) acting ([2,1,0], p2)
提示:ceph 客户端检出最新集群运行图,用 crush 算法计算出如何把对象映射到归置组,然后动态地计算如何把归置组分配到 osd 。要定位对象,只需要对象名和存储池名字即可。
3.5 删除对象
1 [manager@deploy my-cluster]$ ssh node1 sudo rados rm test-object-1 --pool=mytest
3.6 删除pool
1 [manager@deploy my-cluster]$ ssh node1 sudo ceph osd pool delete mytest 2 [manager@deploy my-cluster]$ ssh node1 sudo ceph osd pool delete mytest mytest --yes-i-really-really-mean-it 3 pool 'mytest' removed
提示:若出现以下报错:由于删除pool时,pool名字要输入两次同时要加入--yes-i-really-really-mean-it参数,且需要在ceph.conf配置中开启允许删除,操作如下:
1 [manager@deploy my-cluster]$ vi ceph.conf 2 [global] 3 #…… 4 [mon] 5 mon allow pool delete = true #添加此行 6 [manager@deploy my-cluster]$ ceph-deploy --overwrite-conf config push node1 node2 node3 #重推一次配置文件 8 [root@node1 ~]# systemctl restart ceph-mon.target #所有节点均需要重启一次该服务