openstack 云主机关机：ournal: End of file while reading data: Input/output e...-低调大师

openstack 云主机关机：ournal: End of file while reading data: Input/output e...

2017-11-11 743

问题现象描述：

某个集群环境每天出现一台机器关机现象，随机发生，经过排查解决问题，为大家提供方便

环境：

集群环境：openstack ＋ ceph 融合集群，版本：Mitaka＋jewel

网络环境：网卡10G＋bond0(主备模式)

版本：centos7.3

message 错误日志：

 
        Aug 30 16:45:14 lxx-4-5 journal: internal error: End of 
        file 
        from monitor 
       
        Aug 30 16:45:14 lxx-4-5 avahi-daemon[2412]: Withdrawing address record 
        for 
        fe80::fc16:3eff:fef3:5076 on vnet5. 
       
        Aug 30 16:45:14 lxx-4-5 kernel: vlan206: port 3(vnet5) entered disabled state
       
        Aug 30 16:45:14 lxx-4-5 kvm: 10 guests now active
       
        Aug 30 16:45:14 lxx-4-5 avahi-daemon[2412]: Withdrawing workstation service 
        for 
        vnet5. 
       
        Aug 30 16:45:14 lxx-4-5 kernel: device vnet5 left promiscuous mode
       
        Aug 30 16:45:14 lxx-4-5 kernel: vlan206: port 3(vnet5) entered disabled state
       
        Aug 30 16:45:14 lxx-4-5 systemd: autolog.service holdoff 
        time 
        over, scheduling restart. 
       
        Aug 30 16:45:14 lxx-4-5 systemd: Started Autolog.
       
        Aug 30 16:45:14 lxx-4-5 systemd: Starting Autolog...
       
        Aug 30 16:45:14 lxx-4-5 systemd-machined: Machine qemu-22-instance-000002c9 terminated.
       
        Aug 30 16:45:14 lxx-4-5 autolog: Don't have master process.
       
        Aug 30 16:45:15 l22-4-5 journal: End of 
        file 
        while 
        reading data: Input
        /output 
        error 
       
        Aug 30 16:45:15 lxx-4-5 systemd: autolog.service holdoff 
        time 
        over, scheduling restart. 
       
        Aug 30 16:45:15 lxx-4-5 systemd: Started Autolog.
       
        Aug 30 16:45:15 lxx-4-5 systemd: Starting Autolog...
       
        Aug 30 16:45:15 lxx-4-5 autolog: Don't have master process.
       
        Aug 30 16:45:15 lxx-4-5 systemd: autolog.service holdoff 
        time 
        over, scheduling restart. 
       
        Aug 30 16:45:15 lxx-4-5 systemd: Started Autolog.
       
        Aug 30 16:45:15 lxx-4-5 systemd: Starting Autolog...

openstack-compute 关键日志：

 
  
    
      
      
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        20.952 
        110867 
        DEBUG nova.compute.manager [req-0602316d-944c-42b4-9d3c-7d1b0e513765 - - - - -] [instance: 26f48b2e-f648-42e2-
        8133
        -7ebc060fd7ae] Updated the network info_cache 
        for 
        instance _heal_instance_info_cache /usr/lib/python2.
        7
        /site-packages/nova/compute/manager.py:
        5803 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.033 
        110867 
        DEBUG nova.virt.driver [-] Emitting event <LifecycleEvent: 
        1504082715.03
        , 08330b10-f106-
        4737
        -b9db-0e45c84abb2e => Stopped> emit_event /usr/lib/python2.
        7
        /site-packages/nova/virt/driver.py:
        1443 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.034 
        110867 
        INFO nova.compute.manager [-] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] VM Stopped (Lifecycle Event) 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.076 
        110867 
        DEBUG nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Checking state _get_power_state /usr/lib/python2.
        7
        /site-packages/nova/compute/manager.py:
        1347 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.079 
        110867 
        DEBUG nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Synchronizing instance power state after lifecycle event 
        "Stopped"
        ; current vm_state: active, current task_state: None, current DB power_state: 
        1
        , VM power_state: 
        4 
        handle_lifecycle_event /usr/lib/python2.
        7
        /site-packages/nova/compute/manager.py:
        1276 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.119 
        110867 
        INFO nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] During _sync_instance_power_state the DB power_state (
        1
        ) does not match the vm_power_state from the hypervisor (
        4
        ). Updating power_state 
        in 
        the DB to match the hypervisor. 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.177 
        110867 
        WARNING nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Instance shutdown by itself. Calling the stop API. Current vm_state: active, current task_state: None, original DB power_state: 
        1
        , current VM power_state: 
        4 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.178 
        110867 
        DEBUG nova.compute.api [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Going to 
        try 
        to stop instance force_stop /usr/lib/python2.
        7
        /site-packages/nova/compute/api.py:
        1954 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.267 
        110867 
        DEBUG oslo_concurrency.lockutils [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] Lock 
        "08330b10-f106-4737-b9db-0e45c84abb2e" 
        acquired by 
        "nova.compute.manager.do_stop_instance" 
        :: waited 
        0
        .000s inner /usr/lib/python2.
        7
        /site-packages/oslo_concurrency/lockutils.py:
        270 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.268 
        110867 
        DEBUG nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Checking state _get_power_state /usr/lib/python2.
        7
        /site-packages/nova/compute/manager.py:
        1347 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.270 
        110867 
        DEBUG nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Stopping instance; current vm_state: active, current task_state: powering-off, current DB power_state: 
        4
        , current VM power_state: 
        4 
        do_stop_instance /usr/lib/python2.
        7
        /site-packages/nova/compute/manager.py:
        2545 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.270 
        110867 
        INFO nova.compute.manager [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Instance 
        is 
        already powered off 
        in 
        the hypervisor when stop 
        is 
        called. 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.271 
        110867 
        DEBUG nova.objects.instance [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] Lazy-loading 
        'metadata' 
        on Instance uuid 08330b10-f106-
        4737
        -b9db-0e45c84abb2e obj_load_attr /usr/lib/python2.
        7
        /site-packages/nova/objects/instance.py:
        895 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.314 
        110867 
        INFO nova.virt.libvirt.driver [req-5998b542-495c-41f2-
        8010
        -7f1c426f0127 - - - - -] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Instance already shutdown. 
       
 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.318 
        110867 
        INFO nova.virt.libvirt.driver [-] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] Instance destroyed successfully. 
       
 
    

   
 

关键日志：

 
  
    
      
      
        message : Aug 
        30 
        16
        :
        45
        :
        15 
        l22-
        4
        -
        5 
        journal: End of file 
        while 
        reading data: Input/output error 
       

         
       
 
        Openstack-compute: 
        2017
        -
        08
        -
        30 
        16
        :
        45
        :
        30.034 
        110867 
        INFO nova.compute.manager [-] [instance: 08330b10-f106-
        4737
        -b9db-0e45c84abb2e] VM Stopped (Lifecycle Event) 
       
 
    

   
 

解决办法：

 
  
    
      
     
        升级libvirt 版本：
       
 
        libvirt-daemon-driver-secret-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-lxc-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-driver-lxc-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-python-
        2.0
        .
        0
        -
        2
        .el7.x86_64 
       
 
        libvirt-daemon-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-lock-sanlock-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-driver-storage-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-gobject-
        0.2
        .
        3
        -
        1
        .el7.x86_64 
       
 
        libvirt-nss-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-driver-nwfilter-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-gconfig-
        0.2
        .
        3
        -
        1
        .el7.x86_64 
       
 
        libvirt-snmp-
        0.0
        .
        3
        -
        5
        .el7.x86_64 
       
 
        libvirt-daemon-driver-nodedev-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-glib-devel-
        0.2
        .
        3
        -
        1
        .el7.x86_64 
       
 
        libvirt-gobject-devel-
        0.2
        .
        3
        -
        1
        .el7.x86_64 
       
 
        libvirt-java-javadoc-
        0.4
        .
        9
        -
        4
        .el7.noarch 
       
 
        libvirt-daemon-driver-qemu-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-kvm-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-gconfig-devel-
        0.2
        .
        3
        -
        1
        .el7.x86_64 
       
 
        libvirt-login-shell-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-client-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-driver-
        interface
        -
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-devel-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-cim-
        0.6
        .
        3
        -
        19
        .el7.x86_64 
       
 
        libvirt-glib-
        0.2
        .
        3
        -
        1
        .el7.x86_64 
       
 
        libvirt-java-devel-
        0.4
        .
        9
        -
        4
        .el7.noarch 
       
 
        libvirt-daemon-driver-network-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-docs-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-config-nwfilter-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-daemon-config-network-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        libvirt-java-
        0.4
        .
        9
        -
        4
        .el7.noarch 
       
 
    

   
 

 
  
    
      
     
        升级qemu版本
       
 
        qemu-system-lm32-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        ipxe-roms-qemu-
        20160127
        -
        5
        .git6366fa7a.el7.noarch 
       
 
        qemu-system-cris-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-x86-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-kvm-tools-
        1.5
        .
        3
        -
        126
        .el7_3.
        10
        .x86_64 
       
 
        qemu-system-xtensa-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-arm-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-s390x-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-sh4-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-kvm-common-
        1.5
        .
        3
        -
        126
        .el7_3.
        10
        .x86_64 
       
 
        qemu-user-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-unicore32-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        libvirt-daemon-driver-qemu-
        2.0
        .
        0
        -
        10
        .el7_3.
        9
        .x86_64 
       
 
        qemu-guest-agent-
        2.5
        .
        0
        -
        3
        .el7.x86_64 
       
 
        qemu-common-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-or32-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-kvm-
        1.5
        .
        3
        -
        126
        .el7_3.
        10
        .x86_64 
       
 
        qemu-system-moxie-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-img-
        1.5
        .
        3
        -
        126
        .el7_3.
        10
        .x86_64 
       
 
        qemu-system-m68k-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-alpha-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-microblaze-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-system-mips-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
        qemu-
        2.0
        .
        0
        -
        1
        .el7.
        6
        .x86_64 
       
 
    

   
 

 
  
    
      
     
        升级kernel 
       

        [root@~]# rpm -qa|grep kernel
       
 
        kernel-
        3.10
        .
        0
        -
        514.26
        .
        2
        .el7.x86_64 
       
 
        kernel-tools-libs-
        3.10
        .
        0
        -
        514.26
        .
        2
        .el7.x86_64 
       
 
        kernel-devel-
        3.10
        .
        0
        -
        327.36
        .
        3
        .el7.x86_64 
       
 
        kernel-tools-
        3.10
        .
        0
        -
        514.26
        .
        2
        .el7.x86_64 
       
 
        kernel-devel-
        3.10
        .
        0
        -
        123
        .el7.x86_64 
       
 
        kernel-
        3.10
        .
        0
        -
        327.36
        .
        3
        .el7.x86_64 
       
 
        abrt-addon-kerneloops-
        2.1
        .
        11
        -
        45
        .el7.centos.x86_64 
       
 
        kernel-
        3.10
        .
        0
        -
        514.2
        .
        2
        .el7.x86_64 
       
 
        kernel-
        3.10
        .
        0
        -
        123
        .el7.x86_64 
       
 
        kernel-
        3.10
        .
        0
        -
        327.22
        .
        2
        .el7.x86_64 
       
 
        kernel-devel-
        3.10
        .
        0
        -
        327.22
        .
        2
        .el7.x86_64 
       
 
        kernel-devel-
        3.10
        .
        0
        -
        514.26
        .
        2
        .el7.x86_64 
       
 
        kernel-devel-
        3.10
        .
        0
        -
        514.2
        .
        2
        .el7.x86_64 
       
 
        kernel-headers-
        3.10
        .
        0
        -
        514.26
        .
        2
        .el7.x86_64 
       

        [root@~]# uname  -r
       
 
        3.10
        .
        0
        -
        514.26
        .
        2
        .el7.x86_64 
       
 
    

   
 

注意：升级版本之后一定要重启，才能成功，重启服务无效！！！

本文转自 swq499809608 51CTO博客，原文链接:http://blog.51cto.com/swq499809608/1962081

微信关注我们

原文链接：https://yq.aliyun.com/articles/501631

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

openstack 云主机关机，自动running

问题描述：解决云主机临时关机，自动running 云主机，减少登机器操作，采用的模块是openstack 组件相关模块，需要在控制节点上开发 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 "" " @Item:cheetahv1.0 @Author:william @Group:SystemYunWei @Date:2017-03-15 @E-mail:swq.499809608@hotmail.com @Funtion: "" " import os,sys, time ,socket,json,threading,traceback,s...

2017-11-11

552

openstack iptables nat模块引发云主机访问redis超时问题解决办法

问题描述：电商新申请的云主机访问同机房的redis ，出现小部分超时，时段时序，很是头疼，经过排查，宿主机iptables 规则导致，卸载iptables 解决不了问题，需要彻底卸载iptalbes nat 模块，搞定！操作方法： 1 2 #rmmodip_tables ERROR:Moduleip_tablesis in usebyiptable_filter 1 2 3 4 5 6 rmmodip_tables提示已使用，采用modprobe-r强制卸载 #modprobe-riptable_filter #modprobe-rip_tables #lsmod|grep-ctables 业务反馈，服务正常本文转自 swq499809608 51CTO博客，原文链接:http://blog.51cto.com/swq499809608/1962080

2017-11-11

780

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。