如何从SLB故障中快速恢复-低调大师

如何从SLB故障中快速恢复

2017-03-15 534

背景

3月14日17:32-19:10时段，阿里云杭州区可用区E的大量slb出现服务不可用的问题，疑似健康检查系统出现故障，所有后端节点不论是否监控都一律都被标记为"异常"，导致TCP SLB的服务connection failed, HTTP SLB出现502错误。

小博无线线上业务系统完全基于阿里云搭建，在杭州区E可用区也部署了多个SLB作为流量接入点，在阿里云出现故障超过90分钟的情况，小博无线技术团队却只用了不到20分钟就完全恢复了业务接入，我们是如何做到的？

过程

17:38 运维团队收到某关键服务不可用的告警。登入阿里云控制台查看发现该业务对应的SLB的所有后端节点均为"异常"状态，但是我们自己内部的监控系统显示这些节点都是健康的，同时，还有多个SLB存在类似的情况并且都位于可用区E，于是怀疑该可用区的健康检查系统出现故障。

17:50 配置DNS，停止到出故障的SLB的IP解析。几分钟后观察到故障SLB上的流量已几乎全部漂移到正常的SLB上，业务全面恢复正常。

方法

完整的业务监控告警系统

对关键服务的接入点的服务质量每隔两分钟检查一次，如果连续3次不可用，推送告警到开发运维人员的手机上。这样，17:32出现故障，6分钟后，开发运维团队在17:38就收到了告警，能快速响应故障。

DNS负载均衡

为关键服务配置两个位于不同可用区的SLB作为流量接入点，并对它关联的域名做DNS负载均衡。这样，即便一个可用区的SLB出现故障，停止到故障SLB的IP解析就可快速恢复。

微信关注我们

原文链接：https://yq.aliyun.com/articles/72383

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

报警分析云上集成解决方案

背景：本实践是以化工业的安全生产为背景，随着工业企业的日益大型化和复杂化，非正常事件（下称故障）不仅影响了企业效益，更带来了很多的安全问题。据非正常状况管理联盟（Abnormal Situation Management，简称ASM）的统计，美国由于故障在石油化工领域造成的经济损失一年就高达200 亿美元，而炼油厂平均每三年就发生一次重大事故，平均损失8 千万美元。化工业具有较高的自动化程度，DCS和现场总线广泛应用，各种单点报警也被大量使用，它们对提高系统安全性起到很好的作用，然而随着装置的大型化和复杂化，报警数量的众多和无序以及设计的随意性使得真正有用的报警信息淹没在大量冗余和虚假的报警信号中，特别是故障发生的时刻，大量相关的报警信号突然出现，让操作人员无法有效的分辨真实的报警源头，称之为报警泛滥（Ala

2017-03-16

565

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上，来自明源云的刘峥分享了整个的地产行业的趋势以及探索应用实践。他主要从行业趋势和应用实践两个方面进行了分享。他详细的分享了数据管理平台DMP平台的基础层、画像层、算法层、展示层的架构设计，并通过应用场景诠释了大数据在地产行业的作用。以下内容根据直播视频整理而成。背景上图是明源2017年产品整体的战略布局。最底层ERP，是20年来我们专注做的事情。从项目投资收益、计划、采购、成本、费用、售楼覆盖地产全生命周期的业务管理软件。4年前，明源开始通过阿里云做SAAS产品转型，随着SAAS业务的不断扩张、覆盖产生了很多平台的增值服务。随着SAAS业务及平台增值业务进一步扩张，从业务中积累的数据也越来越多，大数据业务就自然涌现出来。通过一年多的探索实践，大数据已经融入地产业务的方方

2017-03-16

637

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。