Dubbo 3.0 前瞻系列 | 2020双11，Dubbo3.0 在考拉的超大规模实践-低调大师

Dubbo 3.0 前瞻系列 | 2020双11，Dubbo3.0 在考拉的超大规模实践

2020-11-26 491

前言开发者一直以来好奇的是：阿里自己有没有在用Dubbo，会不会用Dubbo？在刚刚结束的双11，我们了解到阿里云今年提出了“三位一体”的理念，即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系，最大化技术的价值。终于，在2020的双11，阿里巴巴经济体也用上了Dubbo！本文是阿里双十一在考拉大规模落地 Dubbo3.0 的技术分享，系统介绍了 Dubbo3.0 在性能、稳定性上对考拉业务的支撑。

覃柳杰（花名：未宇）Github ID: qinliujie，Apache Dubbo PMC；阿里巴巴微服务框架 HSF 负责人，负责 HSF 研发及 Dubbo 在阿里的落地。

HSF 是阿里内部的分布式的服务框架，作为集团中间件最重要的中间件之一，历经十多届双十一大促，接受万亿级别流量的锤炼，十分的稳定与高效。另外一方面，Dubbo 是由阿里中间件开源出来的另一个服务框架，并且在 2019 年 5 月以顶级项目身份从 Apache 毕业，坐稳国内第一开源服务框架宝座，拥有非常广泛的用户群体。

在集团业务整体上云的大背景下，首要挑战是完成 HSF 与 Dubbo 的融合，以统一的服务框架支持云上业务，同时在此基础上衍生出适应用下一代云原生的服务框架 Dubbo 3.0,最终实现自研、开源、商业三位一体的目标。今年作为 HSF&Dubbo 融合之后的 Dubbo 3.0 在集团双十一落地的第一年，在兼容性、性能、稳定性上面都面临着不少的挑战。可喜的是，在今年双十一在考拉上面大规模使用，表现稳定，为今后在集团大规模上线提供了支撑。

Dubbo 3.0 总体方案

在上面的方案中，可以看出来我们是以 Dubbo 为核心，HSF 作为功能扩展点嵌入到其中，同时保留 HSF 原有的编程 API，以保证兼容性。为什么我们选址以 Dubbo 为核心基础进行融合，主要这两点的考量：

1.Dubbo 在外部拥有非常广泛的群众基础，以 Dubbo 为核心，符合开源、商业化的目标；

2.HSF 也经历过核心升级的情况，我们拥有比较丰富的处理经验，对于 Dubbo 3.0 新核心内部落地也是处于可控的范围之内。

选定这个方案之后，我们开始朝着这个方向努力，由于 Dubbo 开源已久，不像 HSF 这样经历过超大规模集群的考验验证，那么我们是如何去保证它的稳定性呢？

稳定性

为了保证新核心的稳定，我们从各个方面进行巩固，保证万无一失

1.功能测试

HSF3 共有集成用例数百个， 100% 覆盖到了 HSF 的核心功能；HSF3 的单测共有上千个，行覆盖率达到了 51.26%

2.混沌测试

为了面对突发的异常情况，我们也做了相应的演练测试，例如 CS 注册中心地址停推空保护测试、异常注入、断网等情况，以此验证我们的健壮性；例如，我们通过对部份机器进行断网，结果我们发现有比较多的异常抛多。

原因是 Dubbo 对异常服务端剔除不够及时，导致还会调用到异常服务器，出现大量报错。

同时，我们也构建了突发高并发情况下的场景，发现了一些瓶颈，例如：

瞬间大并发消耗掉绝大部分 CPU 。

3.性能优化

Dubbo 核心之前未经历过超大规模集团的考验，性能上面必将面临着巨大的挑战；对于 Dubbo 来说，优化主要从地址推送链路和调用服务链路两个链路来进行。对于地址推送链路，主要是减少内存的分配，优化数据结构，减少静态时地址占用内存对应用的影响，从而减少 ygc/fgc 造成的抖动问题。我们利用测试同学提供的风暴程序，模拟了反复推送海量地址的场景，通过优化，120万个 Dubbo 服务地址常态内存占用从 8.5G 下降到 1.5G，有效降低 GC 频率

另外一方面，在调用链路上，我们主要对选址过程、LoadBalacer、Filter 等进行优化，总体 CPU 下降达到 20%，RT 也有一个比较明显的下降。

成果

在双十一考拉零点高峰，某个 Dubbo 接口，总的流量达到了数百万次/每分钟 ,全程稳定顺滑，达到了预定的目标，Dubbo 3.0 是至重启开源以来，首次在这么大规模的场景进行验证，充分证明了 Dubbo 3.0 的稳定性。

结语

在本次双11考拉落地 Dubbo 3.0 只是在阿里内部全面落地 Dubbo3.0 的第一步，现在 Dubbo 3.0 云原生的新特性也如火如荼的进行开发与验证，如应用级服务发现、新一代云原生通信协议 Triple 等已经开始在集团电商应用开始进行 Beta 试点。

Dubbo 3.0 sample @GitHub：

https://github.com/apache/incubator-dubbo-samples/tree/3.x

推荐阅读

都已经十岁的Apache Dubbo，还能再乘风破浪吗？(Dubbo3.0 Roadmap发布)

https://my.oschina.net/u/4489239/blog/4321643

Dubbo3 前瞻：应用级服务发现

https://my.oschina.net/u/4489239/blog/4483677

Dubbo 3.0 前瞻：常用协议对比及 RPC 协议新形态探索

https://my.oschina.net/u/4489239/blog/4483677

Dubbo 3.0 前瞻：重塑 Spring Cloud 服务治理

https://my.oschina.net/u/4489239/blog/4483677

微信关注我们

原文链接：https://my.oschina.net/u/3585447/blog/4748939

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解密JVM虚拟机底层原理【方法区】

前言再次声明本章是一个系列中的其中一段,若想了解更多JVM虚拟机底层原理点击首页,或关注博主，今天来谈方法区，对于方法区的内容今天多，各位听我慢慢说。方法区单单从名字上来看方法区似乎与我们的方法定义有关,确实如此,但是还不够严谨,我也在网上看了很多方法区的定义,但是五花八门,总感觉不够清晰!所以我们一起看看JVM规范中对方法是怎么定义的? JVM规范-方法区定义 https://docs.oracle.com/javase/specs/jvms/se8/html/jvms-2.html 定义: 翻译:首先是所有Java虚拟机线程共享的一块区域,他存放了根类结构相关的一些信息, 有类的变量,方法信息,构造方法和构造器信息,和一些特殊方法(主要指类构造器)。方法区在虚拟机启动时被创建,逻辑上来讲是堆的一个组成部分,但是并不强制你的具体位置,(说白了就是不同的JVM厂商在实现的时候不一定完全按照标准来创造) 最后对于内存定义:方法区在内存不足是也会抛出 OutOfMemoryError 解释: 说了半天可能有人听不懂了,那就来解释一下! 拿oracle的hospost虚拟机举例(也...

2020-11-26

596

相关背景知识 Go-Micro Go Micro 是一个基于 Go 语言编写的、用于构建微服务的基础框架，提供了分布式开发所需的核心组件，包括 RPC 和事件驱动通信等。它的设计哲学是「可插拔」的插件化架构，其核心专注于提供底层的接口定义和基础工具，这些底层接口可以兼容各种实现。例如 Go Micro 默认通过 consul 进行服务发现，通过 HTTP 协议进行通信，通过 protobuf 和 json 进行编解码，以便你可以基于这些开箱提供的组件快速启动，但是如果需要的话，你也可以通过符合底层接口定义的其他组件替换默认组件，比如通过 nacos, etcd 或 zookeeper 进行服务发现，这也是插件化架构的优势所在：不需要修改任何底层代码即可实现上层组件的替换。 Go-Micro概述 Micro是一个微服务工具包，包括： API 提供并将 HTTP 请求路由到相应微服务的 API 网关。它充当微服务访问的单一入口，将HTTP 请求转换为 RPC 并转发给相应的服务也可以用作反向代理。 Web UI 是 go-micro 的 web 版本，允许通过 UI 交互访问环境。在未来...

2020-11-26

533

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。