openGauss一主两备集群异常断电后不能正常启动的解决过程简记
背景
因异常断电后opengauss 5.0.0版本，一主两备集群启动失败。
报错不是主机，由于当时没有截图，查看日志后发现报错是：
定位过程
Day1
1. 尝试用另外两台机器启动每台机器
发现都报错自己不是主机，像极了唐僧被妖怪抓走后互相帅锅的猴子哥仨。
2.手动启动
于是向openGauss交流群里的大佬求助，@半夏提供了一个手动启动的命令。
gs_ctl start -D /opt/huawei/install/data/dn -M primary执行的时候提示已经有服务在，建议用restart，于是改为用restart执行。
gs_ctl restart -D /opt/huawei/install/data/dn -M primary同时在两台备机上面执行手动启动，模式为standby。
gs_ctl restart -D /opt/huawei/install/data/dn -M standby继续：
执行完后查看集群状态，仍然是不可用。
3.连接上了
尝试本地连接数据库，是可以连接上了。
4. 导出数据
于是第一时间用gs_dump命令把数据先导出来了一份，这样最差的情况也可以卸载重装来恢复。
5. 改成单机版
但是虽然本地能连上，却不能创建表，是个只读事务（read-only transaction），业务还是不可用，期间还想着把业务代码改成单机版的数据库连接先应付应用，因为只读作罢。
6. 业务代码及datastudio工具也都连接不上。
起初我还以为是配置文件的问题，检查和确认了postgres.conf及pg_hba.conf的配置。期间还执行过gs_install，以及gs_preinstall，但是install过程提示集群已安装（因未截图所以无法得到确切的提示，大意是已安装）。
Day2
周一和大佬@半夏连线
1. 检查磁盘空间
首先检查了磁盘空间，也检查了互信，互信正常，篇幅起见截图就只截一个服务器的。
2. 修改为自动切换失败
cm_ctl switchover -a3. 强制升主
因为不可读，于是把123服务器的数据库又执行了一次强制升主。
cm_ctl set --cmsPromoteMode=PRIMARY_F -I 1执行后确实改为了Primary，但仍然是不可读，远程也无法连接。
4. 断电后操作
后来求助cm的大佬恩哥，恩哥提供了如下断电后需要执行的操作
4.1 kill掉cm和om的相关进程：
gs_ssh -c "pkill -9 om_monitor -U omm; pkill -9 cm_agent -U omm; pkill -9 cm_server -U omm; touch $GAUSSHOME/bin/cluster_manual_start"4.2. rm掉cmserver下的gstor, dcf_data和bin下面的配置文件
cd $GAUSSLOGcd /opt/huawei/data/cmserver/cm_servergs_ssh -c "rm /opt/huawei/data/cmserver/gstor /opt/huawei/data/cmserver/dcf_data $GAUSSHOME/bin/cluster_dynamic_config -rf"4.3 rm掉bin下的集群手动启动
3. gs_ssh -c "rm $GAUSSHOME/bin/cluster_manual_start"
Day3
1. 执行切换启动模式为AUTO
cm_ctl set --cmsPromoteMode=AUTO -I 12. 于是直接拉恩哥上线
2.1 查看dcc日志：
cd $GAUSSLOG/cm/dcc
vim debug/dcc.dlog
命令截图：
日志截图：
2.2 看到这个日志后，我提出怀疑是防火墙导致的连接建立失败。
于是在三台服务器上都执行了关防火墙的操作（生产环境不建议这样操作，因是测试环境验证问题，所以关掉防火墙，生产环境开放端口白名单）。
systemctl stop firewalld
systemctl disable firewalld2.查询防火墙状态
systemctl status firewalld3. 再查询集群状态，状态即为正常：
cm_ctl query -Cvidp四、成功解决！
紧张焦虑的两天半，问题终于在两位大佬的帮助下得到了解决，趁热打铁流水账先记录下过程，供各位专家同仁指导参考，再次感谢@半夏和恩哥（音）。
五、总 结
影响集群启动的主要因素：
1. 防火墙是否关闭（或者是否打开端口白名单）；
2. 删除进程和文件的3步命令，至于手动启动，并不是必须的步骤；
3. 断电前预先stop集群。
附：一些Linux命令总结：
gs_ssh -c "ps x"
echo $GAUSSHOME
cm_ctl start
cm_ctl stop
cm_ctl query -Cvidp
cd $GAUSSLOG
source .bashrc –加载用户的bash配置文件
ps ux
欢迎小伙伴们交流~
本文作者：赵锋
