Netflix如何在上万台机器中管理微服务？-低调大师

Netflix如何在上万台机器中管理微服务？

2017-08-01 483

任何一个普通的服务，放到 Netflix 的大规模集群(上万台机器)里运行，如果不做特别处理，会发生各种各样的问题，以实现一个电影推荐的服务为例，传统方案：

在传统的方案里，你会使用固定 DNS 域名解析服务，将一组固定的 IP 放在负载均衡的列表里。服务注册和发现都是写在配置文件里，一旦服务挂掉了，依赖于这个服务的其他服务都会受到影响，传统的办法只能新起一台服务器，然后去改变其他机器的配置文件，并重启关联的服务。

在小的集群里这种方式或许可以忍受，但在上万台服务器的集群里，管理500多种服务的时候，情况将变得非常复杂，Netflix 通过多年的实践，贡献出了很多开源项目，例如：Eureka、Hystrix、Feign、Ribbon 等等，来解决大规模集群里服务管理的问题。

使用 Eureka 作为服务发现工具

Eureka 是什么?

Eureka 是 Netflix 贡献出来的开源中间层负载均衡和服务发现的工具。Eureka 基于 Java 实现，可以非常方便的在 Spring 应用程序里声明 Server 和 Client 进行服务注册。

Eureka 解决的问题

Eureka 服务器是服务的注册中心，它能提高大规模集群环境里服务发现的容错性和可用性。并且可以解决跨数据中心之间的服务注册和发现的问题。

Netflix 推荐在每个 Region 搭建一个 Eureka 集群，每个 Region 里的可用区至少有一个 Eureka Server，这样可以保证任意一个可用区的服务注册信息都会被复制到各个可用区，实现服务信息的高可用。在任意可用区的客户端都可以访问到服务的注册信息。客户端在访问服务器之后会在本地缓存服务的信息，并且定期(30秒)刷新服务的状态。

如果在集群内有大面积的网络故障时(例如由于交换机故障导致子网之间无法通信)，Eureka 会进入自我保护模式，每个Eureka节点会持续的对外提供服务(注：ZooKeeper不会)：接收新的服务注册同时将它们提供给下游的服务发现请求。这样就可以实现在同一个子网中(Same side of partition)，新发布的服务仍然可以被发现与访问。

在 Eureka V1.0的版本里，Eureka 之间的数据同步是全量同步，每个客户端都有 Eureka 集群里所有服务的信息，在 V2.0的版本里，将支持客户端偏好的服务信息同步。同时也会增强 Eureka 的读写分离和高可用性。

有了 Eureka，Netflix 如何做红黑发布?

Netflix 发布的方式是红黑发布。如果监控到线上部署的服务有问题，按传统方式回滚一个服务需要5-15分钟。而 Netflix 使用 Eureka 能够动态的下线/上线一个服务。

服务分两种：REST 服务和非 REST 服务。如果下线的服务是 REST 服务，那么情况比较简单，通过 Eureka 可以实时的实现服务的下线和上线。

如果服务是非 REST 服务，例如执行 Batching 任务或者快服务的 Transaction 等等，就不能简单的标记服务下线，借助于 Spring 提供的 EventListener (事件监听器)，Eureka 可以传递

EurekaStatusChangeEvent 事件，帮助开发者在这个事件监听器里去做对应的服务下线处理。

Netflix 在实现红黑发布的时候，会先将一部分的服务动态下线，如果这些服务有一些 Batching 任务，则通过事件监听器停掉这些任务。

为什么 Netflix 没有选择使用 ZooKeeper 做服务发现?

因为当 ZooKeeper 在处理上千个节点时，由于故障发生次数不高，可能可以应对，但是达到上万节点之后，ZooKeeper 的表现不如 Eureka，因为在这种体量的集群里，集群故障是时刻都在发生的，如果每次都重新进行选举的代价太大，而 Eureka 会根据 CAP 理论中的 AP 策略，采用了最终一致的方案。

其次，Eureka 提供了 REST endpoint 支持服务的注册，这样解决能 Non-Java 服务的注册问题。

Hystrix 做服务降级

Hystrix 是 Netflix 开源的组件，它能够帮助服务之间调用超时，报错时，阻止问题的扩散，避免雪崩。在用户无感知的情况下对服务进行降级处理。

举例：当你试图为你的用户进行电影推荐时，出于某种原因服务调用一直没有返回(可能依赖的 User 服务挂了)，Hystrix 可以定义多种策略来判断服务是否健康。例如：为 Hystrix 预设一个 timeout 时间，如果服务调用的返回结果超过这个时间，Hystrix 会决定触发熔断机制，暂定该服务的调用，并返回一个通用的电影列表作为推荐，而不是让用户无休止的等下去，从而提高用户体验。

当然，超时时间只是 Hystrix 做熔断决策的一个条件，你可以为 Hystrix 设置多个条件来让判断某个服务调用是否正常，比如服务的 corePoolSize，maximumPoolSize and keepAliveTime 都可以作为 Hystrix 熔断的策略。

Hystrix 提供了 Circuit Break 来检测服务的健康状态，Circuit Break 解决了以下问题：

检查服务的状态。
支持线程和资源访问的隔离。当服务的并发访问特别大时(每秒上百个连接)，Circuit Break 会对线程进行隔离，或者对资源访问做限制，保证服务的可用性。

下图是 Circuit Break Open/Close 的决策流程：

如果服务调用的错误率高于预先设置的错误率。
Circuit-breaker 的状态会从 CLOSED 变成 OPEN(熔断状态)。
当 Circuit-breaker 状态为 OPEN 时，所有进来的请求会被阻止。
过一段时间，会让一些单个的请求进来(Half-Open)，如果服务调用仍然失败，Circuit-breaker 会再次进入 OPEN 状态，如果请求成功，Circuit-breaker 状态变为 CLOSED 并且重新进入第一步。

目前，Hystrix 正在对跨服务事务(Transaction)处理进行优化中。

Ribbon 作为负载均衡

Ribbon 是 Netflix OSS 贡献的处理 RPC 调用的软负载均衡。除了传统负载均衡的能力之外，它还能解决以下问题：

当监控到集群内有9台服务器提供同一个服务，其中有三台的响应明显有问题，Ribbon 可以临时将这三台服务器从负载均衡中剔除，直到这三台机器恢复正常的响应。
可以对响应最快的服务器进行加权，将更多的流量带到响应最快的节点。
支持将多种负载均衡的策略同时启用，将负载均衡的效果调试到最好。
自定义设置重试机制。

虽然 Ribbon 项目处于维护状态，但是它的实现思路仍然值得大家借鉴。

总结

本文主要介绍了 Netflix OSS 贡献的 Eureka，Hystrix 和 Ribbon，由于篇幅限制，其他的组件将在后续的文章中介绍，这些开源组件和 Spring Boot/Spring Cloud 都有良好的集成，通过注解的方式配合 Properties 文件，能够解决管理大规模服务时遇到的通用问题。

本文的目的是希望通过解读 Netflix 在实现大规模扩容时遇到的问题，分析他们的解决办法，为将来自己碰到问题时提供一些思路，思路和视野有时候比工具本身更重要。

本文作者：佚名

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/196490

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

深度剖析：全面了解“超融合架构”生态圈

今年，云计算领域最火的概念是什么?当然是“超融合”。随着VMware、Nutanix、SMARTX等领导厂商先后进入超融合领域，带火了“超融合”概念，国内云计算和存储厂商也纷纷声称自己推出了超融合架构方案。一时间，国内超融合生态圈厂商众多，颇有些混乱和看不清楚的感觉。目前已经入局的超融合厂商可以划分为哪几类?他们的超融合方案又有哪些侧重点?几类厂商的竞合关系又是怎样的?为解答上述关键性问题，记者专访了云计算存储业界专家徐文豪，听一听他对于目前“超融合”生态圈的分析。超融合的“超”指“虚拟化”。想要深度剖析“超融合”生态圈，首先必须清楚“超融合”这一概念的来源。 “超融合”的英文为Hyper- Converged。可以看到，超融合架构虽然有一个“超”字，但其并不是什么神秘的概念，也并非“超级”的意思，而是与英文Hypervisor中的 Hyper相对应，是虚拟化的意思，对应着虚拟化这一计算架构。事实上，这一概念最早源于存储初创厂商将Google、Facebook等互联网厂商采用的计算存储融合的架构用于虚拟化环境，为企业客户提供一种将存储做到计算服务器中的融合产品。“因此，超融合架...

2017-08-02

605

中型企业是经济增长的引擎。他们占到了全美国企业总数的1%，同时产生了近30%的企业收入。而为了能够与规模更大的竞争对手进行市场竞争，中型企业必须具备速度更快执行力、更具灵活性的定价和更深入的客户关系。中型的IT企业组织正面临着独特的挑战。他们预计需要将他们的成本挤压到规模较小的企业的水平，同时还必须提供能够匹配他们更好的竞争资源的服务水平。通常情况下，他们必须管理类似于大型企业组织的硬件和软件环境，但却缺乏与之水平相称的专业人员或服务。虽然如此——或正是因为如此——使得IT已然成为了中型企业提高效率和创新的关键推动力，并使得那些充分利用了IT的中型企业具备了明显的市场竞争优势。并进一步使得这些中型企业的IT部门通过其的基础设施和运营为其业务部门栽培带来了同样的执行速度、敏捷性和灵活性。虚拟化到云过去几年里，企业IT部门已经围绕着虚拟化建立起了他们自己的基础设施。这有助于资源的整合和基础设施优化。然而，基础设施复杂性的增加，导致了越来越多操作运营的复杂性。虚拟化技术帮助企业IT建立了资源供应和管理的进程和工作流程。然而，其并没有为企业的开发人员方面创造一个显著性的优势。随着消费资...

2017-08-02

527

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。