百亿级企业级 RPC 框架开源了！-低调大师

百亿级企业级 RPC 框架开源了！

2019-05-05 532

今天给大家介绍给一款性能卓越的 RPC 开源框架，其作者就是我推荐每个 Java 程序员都应该看的《Java 生态核心知识点整理》的原作者张玉龙。

说实话我第一次看到这个资料的时候，就感觉作者是一位真正的技术爱好者，后来通过朋友介绍终于认识了他。交谈之中得知他在美团工作，最初和朋友一起整理这份资料的初衷是为了面试，估计每天需要面试太多的应聘者，这份资料成了助手。强烈建议没有看这份资料的同学学习下，作为 Java 生态知识体系构建也是一份不错的资源。

后来得知业余时间他在研发一款开源的 RPC 开源框架，并且经过测试可支持百亿级别的调用，并且于近期终于完成推出 1.0 版本。这款开源软件名字叫做 Koalas，源代码地址：koalas-rpc，下面对这款开源软件做详细介绍，内容来源于 Koalas 。

Koalas 介绍

企业生产级百亿日 PV 高可用可拓展的 RPC 框架。理论上并发数量接近服务器带宽，客户端采用 thrift 协议，服务端支持 netty 和 thrift 的 TThreadedSelectorServer 半同步半异步线程模型，支持动态扩容，服务上下线，权重动态，可用性配置，页面流量统计，支持 trace 跟踪等，天然接入 cat 支持数据大盘展示等，持续为个人以及中小型公司提供可靠的 RPC 框架技术方案。

Thrift 是一种接口描述语言和二进制通讯协议，它被用来定义和创建跨语言的服务。它被当作一个远程过程调用（RPC）框架来使用，是由 Facebook 为“大规模跨语言服务开发”而开发的。

为什么叫 koalas

树袋熊英文翻译，希望考拉 RPC 给那些不太喜欢动手自己去造轮子的人提供可靠的 RPC 使用环境。

为什么要写这个 RPC

市面上常见的 RPC 框架很多，grpc，motan，dubbo 等，但是随着越来越多的元素加入，复杂的架构设计等因素似使得这些框架和 spring 一样，虽然号称是轻量级，但是用起来却是让我们很蹩脚，大量的配置，繁杂的 API 设计，其实，我们根本用不上这些东西！！！

我也算得上是在很多个互联网企业厮杀过，见过很多很多的内部 RPC 框架，有些优秀的设计让我非常赞赏，有一天我突然想着，为什么不对这些设计原型进行聚合归类，于是自己搞一套【轻量级】 RPC 框架呢，于是利用业余时间开发此项目，希望源码对大家对认识 RPC 框架起到推进的作用。

技术栈

thrift 0.8.0
spring-core-4.2.5，spring-context-4.2.5，spring-beans-4.2.5
log4j，slf4j
org.apache.commons(v2.0+)
io.netty4
fastJson
zookeeper
点评cat（V3.0.0+ 做数据大盘统计上报等使用，可不配置）
AOP，反射代理等

技术架构

Koalas 架构图

序列化

考察了很多个序列化组件，其中包括jdk原生，kryo、hessian、protoStuff,thrift，json等，最终选择了Thrift，原因如下：原生JDK序列化反序列化效率堪忧，其序列化内容太过全面kryo和hessian，json相对来说比原生JDK强一些，但是对跨语言支持一般，所以舍弃了，最终想在protoBuf和Thrift协议里面选择一套框架，这俩框架很相通，支持跨语言，需要静态编译等等。但是protoBuf不带RPC服务，本着提供多套服务端模式（thrift rpc，netty）的情况下，最终选择了Thrift协议。

IO线程模型

原生socket可以模拟出简单的RPC框架，但是对于大规模并发，要求吞吐量的系统来说，也就算得上是一个demo级别的，所以BIO肯定是不考虑了，NIO的模型在序列化技术选型的时候已经说了，Thrift本身支持很多个io线程模型，同步，异步，半同步异步等（SimpleServer，TNonblockingServer，THsHaServer，TThreadedSelectorServer，TThreadPoolServer），其中吞吐量最高的肯定是半同步半异步的IO模TThreadedSelectorServer了，具体原因大家可自行google，这次不做多的阐述，选择好了模型之后，发现thrift简直就是神器一样的存在，再一想，对于服务端来说，IO模型怎么能少得了Netty啊，所以下决心也要支持Netty，但是很遗憾Netty目前没有对Thrift的序列化解析，拆包粘包的处理，但是有protoBuf，和http协议的封装，怎么办，自己在netty上写对thrift的支持呗，虽然工作量大了一些，但是一想netty不就是干这个事儿的嘛- -！

服务发现

支持集群的RPC框架里面，像dubbo，或者是其他三方框架，对服务发现都进行的封装，那么自研RPC的话，服务发现就要自己来写了，那么简单小巧容易上手的zookeeper肯定是首选了。

内容展示

实际性能压测

8C 16G mac 开发本，单机 10000 次请求耗时截图

10w 次请求，大约耗时 12s，平均 qps 在8000左右，在集群环境下会有不错的性能表现

数据大盘展示

koalas2.0 已经接入了 cat 服务，cat 服务支持 qps 统计，可用率，tp90line,tp99line,丰富自定义监控报警等，接入效果图

丰富的可视参数，流量统计，日，周，月报表展示等。

链路跟踪

对 RPC 服务来说，系统间的调用和排查异常接口，确定耗时代码是非常重要的，只要接入了 cat，koalsa-rpc 天然的支持链路跟踪，一切尽在眼前！

最后

作者非常具有技术情怀，在聊天中说就剩这点爱好了，要坚持下去。听了这句话啥都不说了，点击下方链接，先 Star 为敬。

https://gitee.com/a1234567891/koalas-rpc

微信关注我们

原文链接：https://my.oschina.net/ityouknow/blog/3045257

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

结构型模式：外观模式

文章首发：结构型模式：外观模式七大结构型模式之五：外观模式。简介姓名：外观模式英文名：Facade Pattern 价值观：统一口径、一致对外个人介绍： Provide a unified interface to a set of interfaces in a subsystem. Facade defines a higher-level interface that makes the subsystem easier to use. 要求一个子系统的外部与其内部的通信必须通过一个统一的对象进行。门面模式提供一个高层次的接口，使得子系统更易于使用。（来自《设计模式之禅》）你要的故事作为开发同学，我们平时打交道最多的就是需求同学和测试同学，公司小的时候，什么事情都全靠吼，工作也直接一对一，一个需求下来，需求同学先跟开发同学一起跟进这个需求，需求开发完成了，需求同学和测试同学沟通了需求的测试要点，测试同学就开测。这个过程中需求一直跟到上线。我们用代码来描述这个过程。开发同学，负责开发需求。 /** * 开发同学 */ class Developer { ...

2019-05-05

719

定义一个数组和对象 const arr = ['a', 'b', 'c', 'd', 'e', 'f']; const obj = { a: 1, b: 2, c: 3, d: 4 } for() 经常用来遍历数组元素遍历值为数组元素索引 for (let i = 0, len = arr.length; i < len; i++) { console.log(i); // 0 1 2 3 4 5 console.log(arr[i]); // a b c d e f } forEach() 用来遍历数组元素第一个参数为数组元素，第二个参数为数组元素索引，第三个参数为数组本身(可选) 没有返回值 arr.forEach((item, index) => { console.log(item); // a b c d e f console.log(index); // 0 1 2 3 4 5 }) map() 用来遍历数组元素第一个参数为数组元素，第二个参数为数组元素索引，第三个参数为数组本身(可选) 有返回值，返回一个新数组 every()...

2019-05-05

631

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。