Openstack：计算节点没法启动的一次排查过程-低调大师

Openstack：计算节点没法启动的一次排查过程

2017-11-13 1158

openstack的控制节点和计算节点重启后，在控制节点上查看计算资源的状态：

 
         [root@linux-node1 ~]
         # openstack compute service list 
        
         +----+------------------+------------------------+----------+---------+-------+----------------------
        
         | ID | Binary           | Host                   | Zone     | Status  | State | Updated At                 |
        
         +----+------------------+------------------------+----------+---------+-------+----------------------
        
         |  1 | nova-conductor   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:00:40.000000 |
        
         |  2 | nova-scheduler   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:00:41.000000 |
        
         |  3 | nova-consoleauth | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:00:45.000000 |
        
         |  7 | nova-compute     | linux-node1.wanwan.com | nova     | enabled | up    | 2017-03-10T03:00:38.000000 |
        
         |  8 | nova-compute     | linux-node2.wanwan.com | nova     | enabled | down  | 2017-03-10T02:28:39.000000 |
        
         +----+------------------+------------------------+----------+---------+-------+----------------------

居然发现计算节点node02没有起来，如上在计算节点上查看下状态

 
         [root@linux-node2 ~]
         # systemctl status openstack-nova-compute.service 
        
         ● openstack-nova-compute.service - OpenStack Nova Compute Server
        
         Loaded: loaded (
         /usr/lib/systemd/system/openstack-nova-compute
         .service; enabled; vendor preset: disabled) 
        
         Active: activating (start) since Fri 2017-03-10 10:49:08 CST; 12min ago 
        
         Main PID: 2261 (nova-compute) 
        
         CGroup: 
         /system
         .slice
         /openstack-nova-compute
         .service 
        
         └─2261 
         /usr/bin/python2 
         /usr/bin/nova-compute 
        
         Mar 10 10:49:08 linux-node2.wanwan.com systemd[1]: Starting OpenStack Nova Compute Server...
        
         [root@linux-node2 ~]
         # systemctl start openstack-nova-compute.service 
        
         启服务，发现一直处于卡住的状态，查看下日志文件
        
         -f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 10:58:19.846 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 10:58:51.944 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 10:59:24.076 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 10:59:56.191 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 11:00:28.302 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 11:01:00.411 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None 
        
         2017-03-10 11:01:33.521 2261 ERROR oslo.messaging._drivers.impl_rabbit [req-187b6306-0117-4c40-944d-53dd8bf054be - - - - -] [16162492-f445-4cb0-ad0e-f101b84fa432] AMQP server on 10.10.10.11:5672 is unreachable: [Errno 113] EHOSTUNREACH. Trying again 
         in 
         32 seconds. Client port: None

提示AMQP不可达，这个时候我就开始怀疑消息队列是否正常，继续检查

 
         [root@linux-node1 ~]
         # lsof -i :5672 
        
         COMMAND    PID     USER   FD   TYPE DEVICE SIZE
         /OFF 
         NODE NAME 
        
         nova-cons 1171     nova    5u  IPv4  30613      0t0  TCP linux-node1:40614->linux-node1:amqp (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   52u  IPv6  29124      0t0  TCP *:amqp (LISTEN)
        
         beam.smp  1173 rabbitmq   53u  IPv6  31152      0t0  TCP linux-node1:amqp->linux-node1:40614 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   54u  IPv6  31176      0t0  TCP linux-node1:amqp->linux-node1:40624 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   55u  IPv6  31180      0t0  TCP linux-node1:amqp->linux-node1:40626 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   56u  IPv6  31183      0t0  TCP linux-node1:amqp->linux-node1:40628 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   57u  IPv6  31193      0t0  TCP linux-node1:amqp->linux-node1:40630 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   58u  IPv6  31197      0t0  TCP linux-node1:amqp->linux-node1:40632 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   59u  IPv6  31255      0t0  TCP linux-node1:amqp->linux-node1:40640 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   60u  IPv6  31321      0t0  TCP linux-node1:amqp->linux-node1:40646 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   61u  IPv6  31355      0t0  TCP linux-node1:amqp->linux-node1:40654 (ESTABLISHED)
        
         beam.smp  1173 rabbitmq   62u  IPv6  35079      0t0  TCP linux-node1:amqp->linux-node1:40670 (ESTABLISHED)
        
         nova-sche 1186     nova    7u  IPv4  31192      0t0  TCP linux-node1:40630->linux-node1:amqp (ESTABLISHED)
        
         nova-comp 2091     nova    4u  IPv4  31168      0t0  TCP linux-node1:40624->linux-node1:amqp (ESTABLISHED)
        
         nova-comp 2091     nova    5u  IPv4  31179      0t0  TCP linux-node1:40626->linux-node1:amqp (ESTABLISHED)
        
         nova-comp 2091     nova   21u  IPv4  31898      0t0  TCP linux-node1:40654->linux-node1:amqp (ESTABLISHED)
        
         nova-comp 2091     nova   22u  IPv4  35882      0t0  TCP linux-node1:40670->linux-node1:amqp (ESTABLISHED)
        
         nova-cond 3265     nova    7u  IPv4  31196      0t0  TCP linux-node1:40632->linux-node1:amqp (ESTABLISHED)
        
         nova-cond 3265     nova    8u  IPv4  31833      0t0  TCP linux-node1:40646->linux-node1:amqp (ESTABLISHED)
        
         nova-cond 3267     nova    7u  IPv4  30623      0t0  TCP linux-node1:40628->linux-node1:amqp (ESTABLISHED)
        
         nova-cond 3267     nova    8u  IPv4  31750      0t0  TCP linux-node1:40640->linux-node1:amqp (ESTABLISHED)
        
         没发现有异常，尝试清除下iptables
        
         [root@linux-node1 ~]
         # iptables -F 
        
         [root@linux-node1 ~]
         # iptables -X 
        
         [root@linux-node1 ~]
         # iptables -Z 
        
         再次进行检查
        
         [root@linux-node1 ~]
         # openstack compute service list 
        
         +----+------------------+------------------------+----------+---------+-------+----------------------
        
         | ID | Binary           | Host                   | Zone     | Status  | State | Updated At                 |
        
         +----+------------------+------------------------+----------+---------+-------+----------------------
        
         |  1 | nova-conductor   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:08:40.000000 |
        
         |  2 | nova-scheduler   | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:08:41.000000 |
        
         |  3 | nova-consoleauth | linux-node1.wanwan.com | internal | enabled | up    | 2017-03-10T03:08:45.000000 |
        
         |  7 | nova-compute     | linux-node1.wanwan.com | nova     | enabled | up    | 2017-03-10T03:08:48.000000 |
        
         |  8 | nova-compute     | linux-node2.wanwan.com | nova     | enabled | up    | 2017-03-10T03:08:40.000000 |
        
         +----+------------------+------------------------+----------+---------+-------+----------------------

如上，可以发现计算节点已经恢复正常了，看来iptables一定要记得清空策略

本文转自冰冻vs西瓜 51CTO博客，原文链接：http://blog.51cto.com/molewan/1905064，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/507481

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使Docker提供对外服务的网络配置(桥接与端口)

前沿： docker 启动容器后，如何对外服务？希望大家看了这篇文章后有些帮助。 docker的有关网络问题没怎么搞清楚，请教了下邓磊同学，感谢！ Docker生成的容器，一般会给你生成一个ip地址，这个ip地址是和docker0的地址是一个ip段的。通过ip a命令，咱们可以看到docker0的ip和子网的范围。大家会发现除了docker0 还有一个vethc 数字的网卡，这个也算是虚拟网卡绑在桥接上的。我们创建一个容器，并且暴露22端口。这个22端口的意思是对外暴露了22端口，系统会从49000-49900端口范围内给你分配一个端口。 docker run 指明端口有两种的方式，一种是-P ，他是识别容器里的dockerfile声明的端口关系。还有一个是-p 这个是小屁屁，他就可以直白点了。比如 -p 6379，是对外暴露了6379。 6379:6379 是外面是6379，里面也是6379 。原文：http://rfyiamcool.blog.51cto.com/1030776/1540074 root@dev-ops:~# docker run -d -...

2017-11-14

538

Ocata:Packstack Ocata does not configure nova for placement API

1、故障现象：Ocata配置完nova服务后，发现computer节点居然没有起来： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 [root@linux-node1nova] #systemctlstatusopenstack-nova-compute.service ●openstack-nova-compute.service-OpenStackNovaComputeServer Loaded:loaded( /usr/lib/systemd/system/openstack-nova-compute .service;enabled;vendorpreset:disabled) Active:activating(start)sinceFri2017-03-1008:53:58CST;6sago MainPID:14063(nova-compute) CGroup: /system .slice /openstack-nova-compute .service └─14063 /usr/bin/python2 /usr...

2017-11-14

1039

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。