作者：京东云 张久志

本文以2022年一个实际项目为基础，来演示在京东云上构建高可用业务的整个过程。公有云及私有云客户可通过使用京东云的弹性IAAS、PAAS服务，创建高可用、高弹性、高可扩展、高安全的云上业务环境，提升业务SLA,提升运维自动化水平，降低资源成本及运维成本。有业务迁移上云需求，希望构建云上高可用业务架构的客户或对云上高可用架构规划有兴趣的读者可以一看。

客户业务为典型的web应用，在京东云上创建一个通过公网IP/域名访问的高可用的web网站，包含通用应用的标准框架，包括访问接入层、APP层、缓存层、数据库层。整体业务架构设计提供可用区(AZ)级别的高可用等级。

本文演示场景包括单AZ出现故障导致的主机故障、数据库故障、缓存故障场景下，业务能够提供持续访问能力。并保障数据的完整性和一致性，同时，能够在无人干预的条件下，实现业务的弹性扩展，保障业务高并发的场景下有良好的响应时间。

说明：

本文的架构为演示架构，并未严格遵循生产环境的业务性能及安全的整体规划步骤及要求，在生产环境中，至少应该对主机及CFS的存储性能进行压测，确保能够满足实际业务需求，同时，通过域名访问的web服务，建议使用WAF等安全防护产品，保障业务的入口安全。

1、京东云高可用架构设计

业务架构以某单位的业务需求为基础，模拟其业务生产环境，规划京东云上的业务整体架构，其中，  NAT网关、负载均衡、堡垒机均创建在公网访问子网，其余主机及数据库等，创建在内部子网内。

其中应用主机使用高可用组创建， LB后端直接挂载高可用组。

使用高可用组的目标是实现业务高峰期故障时，计算资源能自动加入负载均衡后端，自动化扩展业务处 理能力。减少运维干预成本。

2、   资源需求（所有IP及URL均调整为非真实IP及URL）

3、应用部署

3.1 基础环境准备

业务以一个典型的wordpress的网站为例，业务容器化部署于云主机上，高可用依赖京东云的云主机高可用组，主机安装docker，并配置docker服务自动启动。

#创建应用数据目录 配置目录权限、安装docker等

 mkdir -p /wp

 chmod 777 /wp

 yum install docker vim -y

 systemctl enable docker

 systemctl start docker

 #挂载CFS文件作为应用数据目录

 yum install nfs-utils -y

 systemctl enable rpcbind    

 systemctl start rpcbind

 mount -t nfs -o vers=3 -o noresvport 10.0.0.200:/cfs /wp

#配置启动自动挂载CFS及启动服务，通过rc.local实现：

#[root@wpha0 wp]# cat /etc/rc.local

#!/bin/bash

# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES

#

# It is highly advisable to create own systemd services or udev rules

# to run scripts during boot instead of using this file.

#

# In contrast to previous versions due to parallel execution during boot

# this script will NOT be run after all other services.

#

# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure

# that this script will be executed during boot.

touch /var/lock/subsys/local

mount -t nfs -o vers=3 -o noresvport 10.0.0.200:/cfs /wp

#（说明，生产环境可在/etc/fstab挂载）

bash /root/start.sh

start.sh见以下代码

[root@wpha0 wp]# cat /root/start.sh

docker stop wordpress

sleep 3

docker rm wordpress

sleep 3

docker run -d --name=wordpress --restart=unless-stopped -p 443:443 -p 80:80 -v /wp:/var/www/html wordpress

#[root@wpha0 wp]#

#启动脚本编辑完成后，并写入rc.local后，rc.local调整成可执行，以实现启动主机运行脚本， rc.local实现了主机启动后自动挂载CFS到指定目录，然后，通过start.sh自动清除旧数据，重新拉起wordpress服务。

chmod +x /etc/rc.d/rc.local

#拉取应用所需镜像

 docker pull wordpress

#拉取镜像后，运行服务。

docker run -d --name=wordpress --restart=unless-stopped    -p 443:443 -p 80:80  -v /wp:/var/www/html  wordpress 

注意，这个场景下，主要调整了几个位置：

1、挂载CFS为wordpress的工作目录，这样，调整页面内容以及拉起新主机后，网站内容都保持一致。相关自动挂载方式为在/etc/rc.local加入挂载命令，同时chmod +x /etc/rc.d/rc.local 把这个文件加一下可执行权限。

2、需要把wp目录的权限改为777 （或docker内部的 33 tape等，不过不同版本可能有区别，改成777相对稳妥）， 否则挂载后，docker内部的wordpress无法获取目录读写权限。

3、NFS挂载需要安装nfs插件 yum install nfs-utils -y 并启动rpc服务 systemctl enable rpcbind   systemctl start rpcbind

WP目录为777 权限

到这里基础主机环境准备完成。

下一步，进行wordpress应用的配置，实现高可用可视化的演示效果。

3.2业务侧 wordpress配置

web应用使用wordpress部署。通过docker部署，并实现高可用组主机自动伸缩自动化拉起。

通过docker拉取wordpress

docker pull wordpress

拉取镜像后

docker run -d --name=wordpress --restart=unless-stopped    -p 443:443 -p 80:80  -v /wp:/var/www/html  wordpress

其中/wp 是挂载的CFS，作为多个应用主机共同挂载，作为wordpress的应用的应用文件目录。

启动wordpress容器，并挂载CFS目录为WP的应用目录。

以上部署在3.1中已经完成。

 

前置准备工作-负载均衡：

配置一个带公网IP的负载均衡，并配置监听器，监听器后端暂时配置一个已经拉起了docker的这台主机

 

前置准备工作-数据库：

在配置网站前，需要首先在云控制台的RDS那里为wordpress创建一个账户：wordpress，并设置密码，建立一个库：wordpress（因为后续演示方案有调整，我又创建了一个新库wordpressbackup，实际正常来讲一个库就可以了），并授权wordpress库给wordpress用户。

 

前置准备工作-redis：

在控制台购买一个redis，记录redis的URL，为后续配置redis 缓存做准备。

这样，基本的应用环境就绪了。

通过浏览器访问负载均衡(注意访问LB，不直接访问主机)的IP的80端口，即可进入wordpress的配置 页面， wordpress的配置，主要是数据库的地址以及数据库前缀的配置，输入正确的数据库的host 地址及密码即可，其余保持默认，其他依据官网手册指导保持默认配置即可。

配置完成后，wordpress会自动为网站创建相关的表，并提示配置wordpress的admin以及管理密码。

安装完成后，可以登录数据库查看创建的表，后续MySQL高可用演示时，也可以登录到数据库做些常规 操作，不受高可用切换影响。

到此，基本的应用就安装完成了。

配置redis动态缓存加速：

redis的角色，在这个案例里边，在wordpress里 redis 作为一个动态加速缓存使用，对加速网站访问， 减轻数据库压力起到一定作用。

下载wordpress的redis插件，redis-cache。

下载后通过wordpress的管理页面-plugin --addnew 直接上传，然后依据插件操作手册安装配置即可。

安装redis-cache以后，会在/wp/wp-content/plugins 目录下生成一个 redis-cache目录。需要同时在/wp/wp- content 下生成一个 object-cache.php文件，正常来讲，需要调整一个参数host改成redis的域名即可。如果配置了密码，就需要调整这个以及redis-cache目录下的配置文件把密码配置进去，这个因为是 演示环境，redis设置 了免密，生产环境一定要设置密码。

安装配置完成后，在管理界面的setting里会有redis的配置选项，这个和版本有关系，有些版本可能会让 在这里做参数配置。直接改文件参数效果是一样的。

mysql及redis管理及相关登录方式介绍：

MySQL的登录，没有安装client，使用了一个mysql的docker

相关命令：

docker run --name mysql -p 3306:3306  --restart=unless-stopped -v /root/dbackup/:/db -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

进入mysql的docker中：

docker exec -it mysql bash  

连接wordpress使用的数据库：

mysql  -h mysql-xxxea04fc4c52.jdcloud.com -u wordpress -p

use wordpressbackup;

show tables;

select id from wpbackup_posts;

 

--中间因为做了多次演练和数据库切换，中间做了wordpress数据库导出和导入操作

mysql 数据库导出（均在mysql的docker容器中执行命令）：

mysqldump  -h  mysql-xxxa04fc4c52.jdcloud.com -uwordpress -p --databases wordpressbackup >/db/wordpressbackup-0322.sql

数据导入：

进入数据库，

use wordpressbackup;

source /db/wordpressbackup-0322.sql;

 

----redis验证

redis验证，同样是没有安装client，通过docker里的命令行去连接：

docker run -d --name redis --memory=1G -p 7379:6379   redis

docker exec -it redis bash  

 

redis-cli -h redis-j49rpxxx.jdcloud.com

 

登入后，查看信息：

KEYS *

wordpress配置主页显示hostname及来源IP

---让wordpress获取hostname 并在页面展示+获取访客地址，以增强演示效果，明确看到访问的实际主 机位置。

为了让访问者看到访问的IP是哪个（证实高可用组的自动扩容及业务的自动拉起），需要在所使用的 theme 目录的function里加入相关代码。  /wp/wp- content/themes/twentytwentytwo/function.php

[root@AG-wordpress- HA-group1-c8705-2 twentytwentytwo]# vim /wp/wp-content/themes/twentytwentytwo/function.php

在里边加入以下代码，一个是show_ip函数，一个是show_hostname函数。

function get_the_user_ip() {
if ( ! empty( $_SERVER["HTTP_CLIENT_IP"] ) ) {
//check ip from share internet
$ip = $_SERVER["HTTP_CLIENT_IP"];
} elseif ( ! empty( $_SERVER["HTTP_X_FORWARDED_FOR"] ) ) {
//to check ip is pass from proxy
$ip = $_SERVER["HTTP_X_FORWARDED_FOR"];
} else {
$ip = $_SERVER["REMOTE_ADDR"];
}
return apply_filters( "wpb_get_ip", $ip );
}
add_shortcode("show_ip", "get_the_user_ip");

function get_hostname()
{
     $hostname = gethostname();
          echo "$hostname\n";
      return apply_filters( "hostname", $hostname );
}

add_shortcode("show_hostname", "get_hostname");

然后，在wordpress的site里加入短代码实现：

保存后，看到页面可以显示相关的IP及hostname信息了。

到这里，  wordpress的应用环境配置完成。

下一步配置业务的高可用环境，实现跨AZ的高可用组及主机自动弹性伸缩。

3.3 实例模板及高可用组、LB配置

单台主机配置完成后，重启能自动拉起应用，进行确认后， 将现有主机打一个镜像。作为高可用组的实例模板。后续LB后端的高可用组通过这个模板创建主机。

其余包括数据库配置、网站数据、redis缓存配置等，均实现了服务及数据的分离，因此，在后期进行动 态弹性扩容时，使用这个模板的高可用组，可以直接拉起服务，实现动态弹性伸缩。

实例模板：

高可用组：

高可用组使用制作好了wordpress的应用主机的镜像。做到高可用组自动弹性伸缩出新主机--新主机自动 拉起wordpress应用--新主机自动挂载到LB接收业务流量的模式。

LB配置。

LB监听器选择后端服务为高可用组，并配置健康检查。