一致性 Hash 算法的实际应用
前言
记得一年前分享过一篇《一致性 Hash 算法分析》,当时只是分析了这个算法的实现原理、解决了什么问题等。
但没有实际实现一个这样的算法,毕竟要加深印象还得自己撸一遍,于是本次就当前的一个路由需求来着手实现一次。
背景
看过《为自己搭建一个分布式 IM(即时通讯) 系统》的朋友应该对其中的登录逻辑有所印象。
先给新来的朋友简单介绍下 cim 是干啥的:
其中有一个场景是在客户端登录成功后需要从可用的服务端列表中选择一台服务节点返回给客户端使用。
而这个选择的过程就是一个负载策略的过程;第一版本做的比较简单,默认只支持轮询的方式。
虽然够用,但不够优雅😏。
因此我的规划是内置多种路由策略供使用者根据自己的场景选择,同时提供简单的 API 供用户自定义自己的路由策略。
先来看看一致性 Hash 算法的一些特点:
- 构造一个
0 ~ 2^32-1
大小的环。 - 服务节点经过 hash 之后将自身存放到环中的下标中。
- 客户端根据自身的某些数据 hash 之后也定位到这个环中。
- 通过顺时针找到离他最近的一个节点,也就是这次路由的服务节点。
- 考虑到服务节点的个数以及 hash 算法的问题导致环中的数据分布不均匀时引入了虚拟节点。
自定义有序 Map
根据这些客观条件我们很容易想到通过自定义一个有序数组来模拟这个环。
这样我们的流程如下:
- 初始化一个长度为 N 的数组。
- 将服务节点通过 hash 算法得到的正整数,同时将节点自身的数据(hashcode、ip、端口等)存放在这里。
- 完成节点存放后将整个数组进行排序(排序算法有多种)。
- 客户端获取路由节点时,将自身进行 hash 也得到一个正整数;
- 遍历这个数组直到找到一个数据大于等于当前客户端的 hash 值,就将当前节点作为该客户端所路由的节点。
- 如果没有发现比客户端大的数据就返回第一个节点(满足环的特性)。
先不考虑排序所消耗的时间,单看这个路由的时间复杂度:
- 最好是第一次就找到,时间复杂度为
O(1)
。 - 最差为遍历完数组后才找到,时间复杂度为
O(N)
。
理论讲完了来看看具体实践。
我自定义了一个类:SortArrayMap
他的使用方法及结果如下:
可见最终会按照 key
的大小进行排序,同时传入 hashcode = 101
时会按照顺时针找到 hashcode = 1000
这个节点进行返回。
下面来看看具体的实现。
成员变量和构造函数如下:
其中最核心的就是一个 Node
数组,用它来存放服务节点的 hashcode
以及 value
值。
其中的内部类 Node
结构如下:
写入数据的方法如下:
相信看过 ArrayList
的源码应该有印象,这里的写入逻辑和它很像。
- 写入之前判断是否需要扩容,如果需要则复制原来大小的 1.5 倍数组来存放数据。
- 之后就写入数组,同时数组大小 +1。
但是存放时是按照写入顺序存放的,遍历时自然不会有序;因此提供了一个 Sort
方法,可以把其中的数据按照 key
其实也就是 hashcode
进行排序。
排序也比较简单,使用了 Arrays
这个数组工具进行排序,它其实是使用了一个 TimSort
的排序算法,效率还是比较高的。
最后则需要按照一致性 Hash 的标准顺时针查找对应的节点:
代码还是比较简单清晰的;遍历数组如果找到比当前 key 大的就返回,没有查到就取第一个。
这样就基本实现了一致性 Hash 的要求。
ps:这里并不包含具体的 hash 方法以及虚拟节点等功能(具体实现请看下文),这个可以由使用者来定,SortArrayMap 可作为一个底层的数据结构,提供有序 Map 的能力,使用场景也不局限于一致性 Hash 算法中。
TreeMap 实现
SortArrayMap
虽说是实现了一致性 hash 的功能,但效率还不够高,主要体现在 sort
排序处。
下图是目前主流排序算法的时间复杂度:
最好的也就是 O(N)
了。
这里完全可以换一个思路,不用对数据进行排序;而是在写入的时候就排好顺序,只是这样会降低写入的效率。
比如二叉查找树,这样的数据结构 jdk
里有现成的实现;比如 TreeMap
就是使用红黑树来实现的,默认情况下它会对 key 进行自然排序。
来看看使用 TreeMap
如何来达到同样的效果。 运行结果:
127.0.0.1000
效果和上文使用 SortArrayMap
是一致的。
只使用了 TreeMap 的一些 API:
- 写入数据候,
TreeMap
可以保证 key 的自然排序。 tailMap
可以获取比当前 key 大的部分数据。- 当这个方法有数据返回时取第一个就是顺时针中的第一个节点了。
- 如果没有返回那就直接取整个
Map
的第一个节点,同样也实现了环形结构。
ps:这里同样也没有 hash 方法以及虚拟节点(具体实现请看下文),因为 TreeMap 和 SortArrayMap 一样都是作为基础数据结构来使用的。
性能对比
为了方便大家选择哪一个数据结构,我用 TreeMap
和 SortArrayMap
分别写入了一百万条数据来对比。
先是 SortArrayMap
:
耗时 2237 毫秒。
TreeMap:
耗时 1316毫秒。
结果是快了将近一倍,所以还是推荐使用 TreeMap
来进行实现,毕竟它不需要额外的排序损耗。
cim 中的实际应用
下面来看看在 cim
这个应用中是如何具体使用的,其中也包括上文提到的虚拟节点以及 hash 算法。
模板方法
在应用的时候考虑到就算是一致性 hash 算法都有多种实现,为了方便其使用者扩展自己的一致性 hash 算法因此我定义了一个抽象类;其中定义了一些模板方法,这样大家只需要在子类中进行不同的实现即可完成自己的算法。
AbstractConsistentHash,这个抽象类的主要方法如下:
add
方法自然是写入数据的。sort
方法用于排序,但子类也不一定需要重写,比如TreeMap
这样自带排序的容器就不用。getFirstNodeValue
获取节点。process
则是面向客户端的,最终只需要调用这个方法即可返回一个节点。
下面我们来看看利用 SortArrayMap
以及 AbstractConsistentHash
是如何实现的。
就是实现了几个抽象方法,逻辑和上文是一样的,只是抽取到了不同的方法中。
只是在 add 方法中新增了几个虚拟节点,相信大家也看得明白。
把虚拟节点的控制放到子类而没有放到抽象类中也是为了灵活性考虑,可能不同的实现对虚拟节点的数量要求也不一样,所以不如自定义的好。
但是 hash
方法确是放到了抽象类中,子类不用重写;因为这是一个基本功能,只需要有一个公共算法可以保证他散列地足够均匀即可。
因此在 AbstractConsistentHash
中定义了 hash 方法。
这里的算法摘抄自 xxl_job,网上也有其他不同的实现,比如
FNV1_32_HASH
等;实现不同但是目的都一样。
这样对于使用者来说就非常简单了:
他只需要构建一个服务列表,然后把当前的客户端信息传入 process
方法中即可获得一个一致性 hash 算法的返回。
同样的对于想通过 TreeMap
来实现也是一样的套路:
他这里不需要重写 sort 方法,因为自身写入时已经排好序了。
而在使用时对于客户端来说只需求修改一个实现类,其他的啥都不用改就可以了。
运行的效果也是一样的。
这样大家想自定义自己的算法时只需要继承 AbstractConsistentHash
重写相关方法即可,客户端代码无须改动。
路由算法扩展性
但其实对于 cim
来说真正的扩展性是对路由算法来说的,比如它需要支持轮询、hash、一致性hash、随机、LRU等。
只是一致性 hash 也有多种实现,他们的关系就如下图:
应用还需要满足对这一类路由策略的灵活支持,比如我也想自定义一个随机的策略。
因此定义了一个接口:RouteHandle
public interface RouteHandle { /** * 再一批服务器里进行路由 * @param values * @param key * @return */ String routeServer(List<String> values,String key) ; }
其中只有一个方法,也就是路由方法;入参分别是服务列表以及客户端信息即可。
而对于一致性 hash 算法来说也是只需要实现这个接口,同时在这个接口中选择使用 SortArrayMapConsistentHash
还是 TreeMapConsistentHash
即可。
这里还有一个 setHash
的方法,入参是 AbstractConsistentHash;这就是用于客户端指定需要使用具体的那种数据结构。
而对于之前就存在的轮询策略来说也是同样的实现 RouteHandle
接口。
这里我只是把之前的代码搬过来了而已。
接下来看看客户端到底是如何使用以及如何选择使用哪种算法。
为了使客户端代码几乎不动,我将这个选择的过程放入了配置文件。
- 如果想使用原有的轮询策略,就配置实现了
RouteHandle
接口的轮询策略的全限定名。 - 如果想使用一致性 hash 的策略,也只需要配置实现了
RouteHandle
接口的一致性 hash 算法的全限定名。 - 当然目前的一致性 hash 也有多种实现,所以一旦配置为一致性 hash 后就需要再加一个配置用于决定使用
SortArrayMapConsistentHash
还是TreeMapConsistentHash
或是自定义的其他方案。 - 同样的也是需要配置继承了
AbstractConsistentHash
的全限定名。
不管这里的策略如何改变,在使用处依然保持不变。
只需要注入 RouteHandle
,调用它的 routeServer
方法。
@Autowired private RouteHandle routeHandle ; String server = routeHandle.routeServer(serverCache.getAll(),String.valueOf(loginReqVO.getUserId()));
既然使用了注入,那其实这个策略切换的过程就在创建 RouteHandle bean
的时候完成的。
也比较简单,需要读取之前的配置文件来动态生成具体的实现类,主要是利用反射完成的。
这样处理之后就比较灵活了,比如想新建一个随机的路由策略也是同样的套路;到时候只需要修改配置即可。
感兴趣的朋友也可提交 PR 来新增更多的路由策略。
总结
希望看到这里的朋友能对这个算法有所理解,同时对一些设计模式在实际的使用也能有所帮助。
相信在金三银四的面试过程中还是能让面试官眼前一亮的,毕竟根据我这段时间的面试过程来看听过这个名词的都在少数😂(可能也是和候选人都在 1~3 年这个层级有关)。
以上所有源码:
https://github.com/crossoverJie/cim
如果本文对你有所帮助还请不吝转发。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Nginx多进程高并发、低时延、高可靠机制在缓存(redis、memcache)twemproxy代理中的应用
0. 手把手教你做中间件、高性能服务器、分布式存储技术交流群 手把手教你做中间件、高性能服务器、分布式存储等(redis、memcache、nginx、大容量redis pika、rocksdb、mongodb、wiredtiger存储引擎、高性能代理中间件),git地址如下: git地址:https://github.com/y123456yz/middleware_development_learning 1. 开发背景 现有开源缓存代理中间件有twemproxy、codis等,其中twemproxy为单进程单线程模型,只支持memcache单机版和redis单机版,都不支持集群版功能。 由于twemproxy无法利用多核特性,因此性能低下,短连接QPS大约为3W,长连接QPS大约为13W,同时某些场景时延抖动厉害。 为了适应公有云平台上业务方的高并发需求,因此决定借助于twemproxy来做二次开发,把nginx的高性能、高可靠、高并发机制引入到twemproxy中,通过master+多worker进程来实现七层转发功能。 2 Twemproxy 2.1Twempr...
- 下一篇
基于 HTTP 请求拦截,快速解决跨域和代理 Mock
近几年,随着 Web 开发逐渐成熟,前后端分离的架构设计越来越被众多开发者认可,使得前端和后端可以专注各自的职能,降低沟通成本,提高开发效率。 在前后端分离的开发模式下,前端和后端工程师得以并行工作。当遇到前端界面展示需要的数据,而后端对应的接口还没有完成开发的情况时,需要一个数据源来保证前端工作的顺利进行。 今天这篇文章,我们会介绍几种常见的方法和其中存在的问题,并提出如何基于HTTP 请求拦截,快速解决跨域和代理 mock 问题的方案。 常见方法及问题 请求 mock 服务器 最常规的做法是维护一个提供静态数据的 mock 服务器(它提供的数据称为 mock 数据),前端请求 mock 服务器获取数据即可,但这种静态数据维护不便。 请求 AMP 更好的做法是有一个根据接口定义来自动生成数据的 mock 服务器,我们称为AMP(接口管理平台,API Manage Platform),前端请求该服务器获取数据。 在这种场景下,如果有些接口已经完成开发,前端需要手动修改代码去设置不同接口的请求地址。当接口数量较多时,这种方法会变得非常低效。因此, AMP 一般也会同时提供代理功能,也就是...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- MySQL8.0.19开启GTID主从同步CentOS8
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题