ceph 集群主动分裂
ceph 集群分裂
1 原理
1.1 概述
ceph 集群分裂，本来就是一个违反常理的事情。从ceph的设计原理上就是预防分裂，而且很对分裂有一个专有名词“脑裂”。
什么是脑裂？1个集群分裂为 2个集群叫做脑裂。
预防脑裂的原理：不管是mon，还是osd，服务个数至少>服务个数的一半，也就是经典的>=2n+1 理论。比如：
集群有3个mon服务，活动的mon至少大于等于2个，否则集群不能提供服务。osd也一样，3副本的时候，至少活动的个数超过2副本否则不可用。
1.2 场景
在有些场景中需要ceph集群迁移到其他服务器，但是源服务器上的数据又要保持不变，这就需要对ceph 进行人为分裂，也叫做“欺骗性脑裂”
1.3 原理
例如ceph集群3节点，3 mon，3osd 。ceph-admin ,ceph-node1,ceph-node2.
1 先设置集群数据不迁移使得数据在每个服务器上分布保持稳定
2 节点ceph-node2 停机
3 预备机ceph-test 系统环境，参数，软件 安装设置和ceph-node2一模一样，用来代替原来的ceph-node2
4 新ceph-node2 添加mon
5 ceph-node1 下线
6 删除老ceph-node2 遗留的下线的osd.2
7 新ceph-node2 osd 上线
8 设置集群数据可迁移进行数据平衡
9 当前分裂后的ceph集群1 是2个mon，2个osd，可以提供服务。
10 修改集群1的ip
11 启动下线的老的ceph-node2 和ceph-node1，组建集群2
12 放开集群2的数据迁移
13 扩容
分裂后的两个集群都是2副本，2节点。可以安装正常安装流程扩容至3节点3副本
2 停节点node2
先设置集群为不可迁移数据
ceph osd set nobackfill; ceph osd set norecover;
再停机ceph-node2
shutdown -h now
3 添加新mon-node2
3.1 准备新节点node2
下面这些操作其实都是可以提前做的
# 关闭防火墙 systemctl stop firewalld systemctl disable firewalld # 设置yum 源 cd /etc/yum.repos.d [root@ceph-admin yum.repos.d]# cat ceph.repo [Ceph] name=Ceph packages for $basearch baseurl=http://mirrors.ustc.edu.cn/ceph/rpm-luminous/el7/$basearch enabled=1 gpgcheck=1 type=rpm-md gpgkey=http://mirrors.ustc.edu.cn/ceph/keys/release.asc priority=1 [Ceph-noarch] name=Ceph noarch packages baseurl=http://mirrors.ustc.edu.cn/ceph/rpm-luminous/el7/noarch enabled=1 gpgcheck=1 type=rpm-md gpgkey=http://mirrors.ustc.edu.cn/ceph/keys/release.asc priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.ustc.edu.cn/ceph/rpm-luminous/el7/SRPMS enabled=1 gpgcheck=1 type=rpm-md gpgkey=http://mirrors.ustc.edu.cn/ceph/keys/release.asc priority=1 [root@ceph-admin yum.repos.d]# cat epel.repo [epel] name=Extra Packages for Enterprise Linux 7 - $basearch baseurl=http://mirrors.aliyun.com/epel/7/$basearch #mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch failovermethod=priority enabled=1 gpgcheck=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 [epel-debuginfo] name=Extra Packages for Enterprise Linux 7 - $basearch - Debug baseurl=http://mirrors.aliyun.com/epel/7/$basearch/debug #mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-debug-7&arch=$basearch failovermethod=priority enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 gpgcheck=0 [epel-source] name=Extra Packages for Enterprise Linux 7 - $basearch - Source baseurl=http://mirrors.aliyun.com/epel/7/SRPMS #mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-source-7&arch=$basearch failovermethod=priority enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 gpgcheck=0 # 安装vim，net-tools，ceph 软件 yum install ceph ceph-radosgw ntp ntpdate net-tools vim -y
3.2 预备服务器修改IP
预备节点修改IP为原来ceph-node2 的IP，用来“欺骗”原有的ceph集群
sed -i "s/{old-ip}/{new-ip}/g" /etc/sysconfig/network-scripts/ifcfg-ens3
systemctl restart network
修改完IP后并重新从ceph-admin节点进行免密设置
ssh-copy-id -i ~/.ssh/id_rsa.pub ceph-node2 注意：应提前从ceph-admin中删除私钥否则公钥发送会出做（因为毕竟现在的ceph-node2 不是原来的ceph-node2，是假扮的） cat ~/.ssh/known_hosts
3.3 添加新节点ceph-node2 的mon服务
ceph-deploy mon add ceph-node2 # 添加mon的时候可能出现下面错误 “bootstrap-osd keyring not found; run 'gatherkeys'" 解决办法：ceph-deploy gatherkeys ceph-node2
4 停节点node1
检查备用node2节点上mon服务一定要加入集群后才可以停node1节点
5 删除node2的osd.2
在node1 停机后，在ceph-admin上测试命令”ceph -s 是否可以查看集群状态。一定要可以访问集群后续才可以进行。
删除node2上的osd.2
ceph osd rm osd.2 ceph osd crush rm osd.2 ceph osd crush rm ceph-node2
6 删除node2的osd.2的秘钥
# 后续要重新把数据平衡到新的node2节点上的osd.2，所以要把之前老的osd.2 和osd.2的秘钥都删除 ceph auth rm osd.2
7 添加新的node2的osd.2
注意：
# parted 分区日志盘，这里就不多展示，参照ceph集群部署文档 # ceph-deploy osd create ceph-node2 --data /dev/vda --block-db /dev/vdb1 --block-wal /dev/vdc1
8 平衡数据
# 新的node2 上的osd.2添加成功后进行数据平衡 ceph osd unset nobackfill; ceph osd unset norecover;
由于当前集群只有老的ceph-admin节点和新的ceph-node2节点，所以只有2副本。但是可以对外服务的。
9 扩容
当前集群只有2副本，2节点。如果扩容就按照正常部署步骤扩容就好。这里就不多展示
10 恢复对象存储rgw.node2
重新在新节点node2上安装对象存储实例就可以，参照ceph对象存储安装文档，这里就不多展示
11 恢复文件系统mds.osd.2
重新在新节点node2 上安装文件系统就可以，参照ceph 文件系统安装文档，这里就不多展示
12 验证
12.1 验证块存储
做rbd 创建，rbd映射，挂载，写入数据
12.2 验证对象存储
设置s3 对象存储客户端，创建桶，写入数据
12.3 验证文件系统
挂载远程目录
