首页 文章 精选 留言 我的

搭建mcollective高可用，使puppet架构更加安全、稳定

2017-11-09 588

一、配置Rabbitmq

安装（略），可参考http://kisspuppet.com/2013/11/10/mcollective-middleware/或http://rsyslog.org/2013/11/10/mcollective-middleware/

1. 开启插件rabbitmq_stomp

1
2
3
4
[root@linuxmaster1poc ~]# rabbitmq-plugins enable rabbitmq_stomp
The following plugins have been enabled:
   rabbitmq_stomp
Plugin configuration has changed. Restart RabbitMQ  for  changes to take effect.

2. 添加tcp监听端口和范围

1
2
3
4
[root@linuxmaster1poc ~]# vim /etc/rabbitmq/rabbitmq.config
[
   {rabbitmq_stomp, [{tcp_listeners, [ 61613 ]}]}
].

备注：可参考http://www.rabbitmq.com/stomp.html

3. 创建账户并设置权限

如果你以前配置过，建议将配置清空

1
2
3
4
5
6
7
8
9
[root@linuxmaster1poc ~]# rabbitmqctl stop_app
Stopping node rabbit@linuxmaster1poc ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl reset
Resetting node rabbit@linuxmaster1poc ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl start_app
Starting node rabbit@linuxmaster1poc ...
...done.

删除默认用户guest，添加三个用户（webadmin-http访问用，admin--管理员，mcrabbitmq--mcollective链接用）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@linuxmaster1poc ~]# rabbitmqctl list_users
Listing users ...
guest   [administrator]
...done.
[root@linuxmaster1poc ~]# rabbitmqctl delete_user guest
Deleting user  "guest"  ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl add_user mc_rabbitmq  123 .com
Creating user  "mc_rabbitmq"  ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl add_user admin password= 123 .com
Creating user  "admin"  ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl add_user web_admin  123 .com
Creating user  "web_admin"  ...
...done.

设置用户的角色

1
2
3
4
5
6
[root@linuxmaster1poc ~]# rabbitmqctl set_user_tags admin administrator
Setting tags  for  user  "admin"  to [administrator] ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl set_user_tags web_admin monitoring
Setting tags  for  user  "web_admin"  to [monitoring] ...
...done.


创建虚拟主机组

1
2
3
[root@linuxmaster1poc ~]# rabbitmqctl add_vhost /mcollective
Creating vhost  "/mcollective"  ...
...done.

设置用户访问虚拟主机组的权限

1
2
3
4
5
6
7
8
9
[root@linuxmaster1poc ~]# rabbitmqctl set_permissions -p  "/mcollective"  mc_rabbitmq   ".*"  ".*"  ".*"
Setting permissions  for  user  "mc_rabbitmq"  in  vhost  "/mcollective"  ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl set_permissions -p  "/mcollective"  admin   ".*"  ".*"  ".*"
Setting permissions  for  user  "admin"  in  vhost  "/mcollective"  ...
...done.
[root@linuxmaster1poc ~]# rabbitmqctl set_permissions -p  "/mcollective"  web_admin   ".*"  ".*"  ".*"
Setting permissions  for  user  "web_admin"  in  vhost  "/mcollective"  ...
...done.

重启rabbitmq-server服务

1
2
3
[root@linuxmaster1poc ~]# /etc/init.d/rabbitmq-server restart
Restarting rabbitmq-server: SUCCESS
rabbitmq-server.

查看用户以及角色是否创建成功

1
2
3
4
5
6
[root@linuxmaster1poc ~]# rabbitmqctl list_users
Listing users ...
admin   [administrator]
mc_rabbitmq []
web_admin   [monitoring]
...done.

查看虚拟主机组“/mcollective”中所有用户的权限

1
2
3
4
5
6
7
[root@linuxmaster1poc ~]# rabbitmqctl list_permissions -p  "/mcollective"
Listing permissions  in  vhost  "/mcollective"  ...
admin   .*  .*  .*
mc_rabbitmq .*  .*  .*
web_admin   .*  .*  .*
...done.
[root@linuxmaster1poc ~]#

4、登录http://192.168.100.120:15672/设置虚拟主机“/mcollective”的exchanges

默认配置

1
2
3
4
5
6
7
8
9
10
[root@linuxmaster1poc ~]# rabbitmqctl list_exchanges -p  "/mcollective"
Listing exchanges ...
     direct
amq.direct  direct
amq.fanout  fanout
amq.headers headers
amq.match   headers
amq.rabbitmq. trace   topic
amq.topic   topic
...done.

mcollective_rabbitmq_high_availability-1

设置后更新配置

mcollective_rabbitmq_high_availability.j


1
2
3
4
5
6
7
8
9
10
11
12
[root@linuxmaster1poc ~]# rabbitmqctl list_exchanges -p  "/mcollective"
Listing exchanges ...
     direct
amq.direct  direct
amq.fanout  fanout
amq.headers headers
amq.match   headers
amq.rabbitmq. trace   topic
amq.topic   topic
mcollective_broadcast   topic
mcollective_directed    direct
...done.

备注：可参考官网设置https://www.rabbitmq.com/man/rabbitmqctl.1.man.html

二、配置MCollective:

1. 配置mcollective client端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
[root@linuxmaster1poc testing]# cat /etc/mcollective/client.cfg
topicprefix = /topic/
main_collective = mcollective
collectives = mcollective
libdir = /usr/libexec/mcollective
logger_type = console
#loglevel = debug
loglevel = warn
# Plugins
securityprovider = psk
plugin.psk = a36cd839414370e10fd281b8a38a4f48
direct_addressing =  1
connector = rabbitmq
plugin.rabbitmq.vhost = /mcollective  #虚拟主机
plugin.rabbitmq.pool.size =  2  #设置地址池里有两个mq
plugin.rabbitmq.initial_reconnect_delay =  0.01
plugin.rabbitmq.max_reconnect_delay =  30.0   #重连时间
plugin.rabbitmq.use_exponential_back_off =  true
plugin.rabbitmq.back_off_multiplier =  2
plugin.rabbitmq.max_reconnect_attempts =  0
plugin.rabbitmq.randomize =  false
plugin.rabbitmq.timeout = - 1
plugin.rabbitmq.pool. 1 .host =  192.168 . 100.120
plugin.rabbitmq.pool. 1 .port =  61613
plugin.rabbitmq.pool. 1 .user = mc_rabbitmq
plugin.rabbitmq.pool. 1 .password =  123 .com
plugin.rabbitmq.pool. 1 .ssl =  false
plugin.rabbitmq.pool. 2 .host =  192.168 . 100.121
plugin.rabbitmq.pool. 2 .port =  61613
plugin.rabbitmq.pool. 2 .user = mc_rabbitmq
plugin.rabbitmq.pool. 2 .password =  123 .com
plugin.rabbitmq.pool. 2 .ssl =  false
# Facts
factsource = yaml
plugin.yaml = /etc/mcollective/facts.yaml

2. 配置mcollective server端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
[root@linux57poc tmp]# cat /etc/mcollective/server.cfg
# --Global--
topicprefix = /topic/
main_collective = mcollective
collectives = mcollective
libdir = /usr/libexec/mcollective
logfile = / var /log/puppet/mcollective.log
loglevel = info
daemonize =  1
# --rabbitmq Plugins--
securityprovider = psk
plugin.psk = a36cd839414370e10fd281b8a38a4f48
direct_addressing =  1
connector = rabbitmq
plugin.rabbitmq.vhost = /mcollective
plugin.rabbitmq.pool.size =  2
plugin.rabbitmq.initial_reconnect_delay =  0.01
plugin.rabbitmq.max_reconnect_delay =  30.0
plugin.rabbitmq.use_exponential_back_off =  true
plugin.rabbitmq.back_off_multiplier =  2
plugin.rabbitmq.max_reconnect_attempts =  0
plugin.rabbitmq.randomize =  false
plugin.rabbitmq.timeout = - 1
plugin.rabbitmq.pool. 1 .host =  192.168 . 100.120
plugin.rabbitmq.pool. 1 .port =  61613
plugin.rabbitmq.pool. 1 .user = mc_rabbitmq
plugin.rabbitmq.pool. 1 .password =  123 .com
plugin.rabbitmq.pool. 1 .ssl =  false
plugin.rabbitmq.pool. 2 .host =  192.168 . 100.121
plugin.rabbitmq.pool. 2 .port =  61613
plugin.rabbitmq.pool. 2 .user = mc_rabbitmq
plugin.rabbitmq.pool. 2 .password =  123 .com
plugin.rabbitmq.pool. 2 .ssl =  false
# --Puppet provider specific options--
plugin.service.provider = puppet
plugin.service.puppet.hasstatus =  true
plugin.service.puppet.hasrestart =  true
plugin.puppet.command = puppet agent
plugin.puppet.splay =  true
plugin.puppet.splaylimit =  30
plugin.puppet.config = /etc/puppet/puppet.conf
# --Facts--
factsource = yaml
##factsource = facter
plugin.yaml = /etc/mcollective/facts.yaml

三、高可用测试

特别注意：节点mcollective的server.cfg中pool是有优先级的，默认数字小的生效，这点需要注意，也就是说当所有节点都连接在MQ2上的时候，启动MQ1，mco命令是无法使用的，因为它在运行的时候连接的是MQ1，而所有节点都连接在MQ2上。

1. 停止MQ1，查看切换状态

1.1 先看当前的节点连接状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@linuxmaster1poc ~]# mco ping   #查看连接的节点
linux57poc                               time= 69.46  ms
linux58poc                               time= 70.05  ms
linux64poc                               time= 70.59  ms
---- ping statistics ----
3  replies max:  70.59  min:  69.46  avg:  70.03
[root@linuxmaster1poc ~]# mco shell  "lsof -i:61613"  #查看所有节点监听的端口情况，可以看到目前都连接在linuxmaster1poc上。
Do you really want to send  this  command unfiltered? (y/n): y
Discovering hosts using the mc method  for  2  second(s) ....  3
Host: linux64poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     36625  root    6u  IPv4   27771       0t0  TCP linux64poc: 40493 ->linuxmaster1poc: 61613  (ESTABLISHED)
Host: linux58poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     11060  root    6u  IPv4   34046       0t0  TCP linux58poc: 36295 ->linuxmaster1poc: 61613  (ESTABLISHED)
Host: linux57poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE  DEVICE SIZE NODE NAME
ruby     18076  root    6u  IPv4  1351365        TCP linux57poc: 24698 ->linuxmaster1poc: 61613  (ESTABLISHED)
[root@linuxmaster1poc ~]# /etc/init.d/rabbitmq-server stop
Stopping rabbitmq-server: rabbitmq-server.

1.2 再次运行mco查看切换状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@linuxmaster1poc ~]# mco ping
linux58poc                               time= 73.54  ms
linux64poc                               time= 74.61  ms
linux57poc                               time= 75.39  ms
---- ping statistics ----
3  replies max:  75.39  min:  73.54  avg:  74.51
[root@linuxmaster1poc ~]# mco shell  "lsof -i:61613"
Do you really want to send  this  command unfiltered? (y/n): y
Discovering hosts using the mc method  for  2  second(s) ....  3
Host: linux58poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     11060  root    6u  IPv4   34046       0t0  TCP linux58poc: 36295 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     11060  root    9u  IPv4   34137       0t0  TCP linux58poc: 47200 ->linuxmaster2poc: 61613  (ESTABLISHED)
Host: linux64poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     36625  root    6u  IPv4   27771       0t0  TCP linux64poc: 40493 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     36625  root    8u  IPv4   27877       0t0  TCP linux64poc: 37472 ->linuxmaster2poc: 61613  (ESTABLISHED)
Host: linux57poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE  DEVICE SIZE NODE NAME
ruby     18076  root    9u  IPv4  1351484        TCP linux57poc: 9309 ->linuxmaster2poc: 61613  (ESTABLISHED)

通过日志查看

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@linuxmaster1poc ~]# mco shell  "lsof -i:61613"
Do you really want to send  this  command unfiltered? (y/n): y
Discovering hosts using the mc method  for  2  second(s) ....  3
Host: linux58poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     11428  root    6u  IPv4   34283       0t0  TCP linux58poc: 36300 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     11428  root    8u  IPv4   34338       0t0  TCP linux58poc: 47205 ->linuxmaster2poc: 61613  (ESTABLISHED)
Host: linux57poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE  DEVICE SIZE NODE NAME
ruby     18447  root    6u  IPv4  1351559        TCP linux57poc: 59343 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     18447  root    8u  IPv4  1351622        TCP linux57poc: 29757 ->linuxmaster2poc: 61613  (ESTABLISHED)
Host: linux64poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     37054  root    4u  IPv4   28036       0t0  TCP linux64poc: 37476 ->linuxmaster2poc: 61613  (ESTABLISHED)
ruby     37054  root    6u  IPv4   27990       0t0  TCP linux64poc: 40497 ->linuxmaster1poc: 61613  (CLOSE_WAIT)

总结：可以看到之前的连接已经变成CLOSE_WAIT，新的连接被建立

2. 停止MQ2，启动MQ1 查看切换状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@linuxmaster2poc rabbitmq]# /etc/init.d/rabbitmq-server stop
Stopping rabbitmq-server: rabbitmq-server.
[root@linux57poc service]# lsof -i: 61613
COMMAND   PID USER   FD   TYPE  DEVICE SIZE NODE NAME
ruby     18447  root    6u  IPv4  1351559        TCP linux57poc: 59343 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     18447  root    8u  IPv4  1351622        TCP linux57poc: 29757 ->linuxmaster2poc: 61613  (CLOSE_WAIT)
[root@linux58poc ~]# lsof -i: 61613
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     11428  root    6u  IPv4   34283       0t0  TCP linux58poc: 36300 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     11428  root    8u  IPv4   34338       0t0  TCP linux58poc: 47205 ->linuxmaster2poc: 61613  (CLOSE_WAIT)
[root@linux64poc ~]# lsof -i: 61613
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     37054  root    4u  IPv4   28036       0t0  TCP linux64poc: 37476 ->linuxmaster2poc: 61613  (CLOSE_WAIT)
ruby     37054  root    6u  IPv4   27990       0t0  TCP linux64poc: 40497 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
[root@linuxmaster1poc ~]# /etc/init.d/rabbitmq-server start
Starting rabbitmq-server: SUCCESS
rabbitmq-server.

根据 plugin.rabbitmq.maxreconnectdelay =30.0，需要过最多30秒，mcollective服务端会重新建立连接请求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
[root@linuxmaster1poc ~]# tailf  / var /log/rabbitmq/rabbit\@linuxmaster1poc.log
=INFO REPORT====  24 -Dec- 2013 :: 11 : 00 : 45  ===
accepting STOMP connection < 0.332 . 0 > ( 192.168 . 100.126 : 36316  ->  192.168 . 100.120 : 61613 )
=INFO REPORT====  24 -Dec- 2013 :: 11 : 00 : 45  ===
accepting STOMP connection < 0.348 . 0 > ( 192.168 . 100.125 : 18945  ->  192.168 . 100.120 : 61613 )
=INFO REPORT====  24 -Dec- 2013 :: 11 : 00 : 45  ===
accepting STOMP connection < 0.382 . 0 > ( 192.168 . 100.127 : 40513  ->  192.168 . 100.120 : 61613 )
[root@linuxmaster1poc ~]# mco ping
linux58poc                               time= 70.60  ms
linux57poc                               time= 71.32  ms
linux64poc                               time= 111.56  ms
---- ping statistics ----
3  replies max:  111.56  min:  70.60  avg:  84.49
[root@linuxmaster1poc ~]# mco shell  "lsof -i:61613"
Do you really want to send  this  command unfiltered? (y/n): y
Discovering hosts using the mc method  for  2  second(s) ....  3
Host: linux58poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     11428  root    6u  IPv4   34283       0t0  TCP linux58poc: 36300 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     11428  root    8u  IPv4   34338       0t0  TCP linux58poc: 47205 ->linuxmaster2poc: 61613  (CLOSE_WAIT)
ruby     11428  root   10u  IPv4   34444       0t0  TCP linux58poc: 36316 ->linuxmaster1poc: 61613  (ESTABLISHED)
Host: linux57poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE  DEVICE SIZE NODE NAME
ruby     18447  root   10u  IPv4  1351723        TCP linux57poc: 18945 ->linuxmaster1poc: 61613  (ESTABLISHED)
Host: linux64poc
Statuscode:  0
Output:
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
ruby     37054  root    4u  IPv4   28036       0t0  TCP linux64poc: 37476 ->linuxmaster2poc: 61613  (CLOSE_WAIT)
ruby     37054  root    6u  IPv4   27990       0t0  TCP linux64poc: 40497 ->linuxmaster1poc: 61613  (CLOSE_WAIT)
ruby     37054  root    9u  IPv4   28206       0t0  TCP linux64poc: 40513 ->linuxmaster1poc: 61613  (ESTABLISHED)

本文转自凌激冰51CTO博客，原文链接：http://blog.51cto.com/dreamfire/1344492，如需转载请自行联系原作者


上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/408794

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

超千个节点OpenStack私有云案例（1）：CERN 5000+ 计算节点私有云

CERN：欧洲核子研究组织 本文根据以下几篇文章整理而来： https://www.openstack.org/summit/tokyo-2015/videos/presentation/unveiling-cern-cloud-architecture https://www.mybookworld.info/view/lcl9u/cern-cloud-architecture-february-2016.html http://openstack-in-production.blogspot.com/ 1. 系统 （1）系统规模 2015 年是 5000个计算节点，16000 个在运行的虚机 2016年2月是 5500 个计算节点，半年期间计算节点增加了 500 个，虚机增加了1000个 左边是当前正在运行的虚机的数量 16000 个，右边是被创建过的虚机的累计数量，超过 25 M。 （2）CERN 使用的 OpenStack 版本保持持续更新，基本上是延迟一个社区版本 （3）2015 年的总体结构：一个 region，2 个数据中心，26 个 Cell，全部使用 nova-ne...
2017-11-10
495
上一篇

Windows Server 林功能级别详解

Windows Server 操作系统林功能级别的设置决定了在域或者林中所启用的 AD DS 功能，以及哪个版本的 Windows Server 可以作为域或者林中的域控制器。 随着Windows Server 操作系统版本号的增加，其功能也在逐步丰富和完善，自 Windows Server 2003 开始，在配置 AD 时就可以选择不同的林功能级别来满足不同的需求，在 Windows Server 2008 中，可以选择的林功能级别更加丰富，它支持 Windows 2000,、Windows Server 2003 和 Windows Server 2008。但是需要注意的是，在 Windows Server 系统中，所有的林功能级别都是向下兼容的，但是不支持向上兼容，即 Windows Server 2003 支持 Windows 2000 林功能级别，但是 Windows 2000 并不支持 Windows Server 2003 林功能级别。 在 Windows Server 的配置向导中，虽然有相关林功能级别的说明，但并不是非常详细，本文将对 Windows Server 中...
2017-11-10
563
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
DeepSeek SpringCloud Rocky Kubernetes Service Mesh HarmonyOS6 Docker Redis SpringBoot4 Jdk25 OpenAi Gemini3 Nacos3

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册