Redis 的多线程版本比 Redis 本身要快 5 倍-低调大师

Redis 的多线程版本比 Redis 本身要快 5 倍

2019-10-08 663

如果我告诉您有一个 Redis 的分支版本，它的性能比原生的 Redis 快 5 倍，而且延迟却降低近 5 倍，你会不会想了解一下这个项目？而如果您不再需要哨兵节点并且您的副本可以接受读取和写入，这将有可能使分片数量减少 10 倍，这样对你的吸引力是不是更大了呢？

我说的这个分支版本，它其实是 Redis 的一个分叉版本，名叫 KeyDB 。KeyDB 是 Redis 开源的多线程分叉版本。本文我们将提供最新的基准测试结果，并讨论更强大的 KeyDB 实例如何减少集群大小以及简化堆栈。同时我们还将讨论了多线程体系结构，并演练了如何利用它实现性能的提升。

为什么要取个新名字，为什么要做 Redis 的分叉？

凭借着我们不受限制的代码库开发能力，KeyDB 能够在短时间内取得长足的进步，并且所走的道路将在未来几个月内破坏整个数据库格局。

关于为什么首先搞一个 Redis 分叉的原因，这是因为 KeyDB 和 Redis 在如何发展方面有不同的理念。我们认为易用性、高性能和“内置动力”的方法是创造良好用户体验的最佳方法。尽管我们非常尊重 Redis 维护者，但我们认为 Redis 的方法过于注重代码的简单性，而以牺牲用户的便利性为代价。这导致经常需要借助外部组件和方案来解决很多常见问题。

由于存在意见分歧，因此适合 KeyDB 的功能可能不适用于 Redis。而做一个新的分叉版本可以允许我们探索这一新的开发路径并实现可能永远不会成为 Redis 一部分的功能。KeyDB 将与上游的 Redis 代码变更保持同步，在适用的情况下，我们还给 Redis 提交错误修复和改进。我们希望这两个项目能够继续发展并相互学习。

多线程的优势

增加 KeyDB 的单个实例/节点的功能可以减少分片的需要，并且可以大大减少数据移动的数量。您可能会问，与在单个节点上多线程化相比，在群集中运行许多Redis 节点是否可以获得比单线程多线程更多的吞吐量？您可以像 Redis 一样对 KeyDB 进行分片，这对数据库进行水平扩展很有意义。但是，如果您可以选择增加马力而不购买第二辆车，那为什么不呢？除分片外，还能够扩展节点的大小，为用户增加了新的功能和选择。这是 Redis 与 KeyDB 之间意见分歧的其中之一。这不仅是社区中的常见讨论点，还是某些圈子中的争论点。

因此，为了回答 “用 KeyDB 运行更多线程看起来像什么？” 这个问题，我们提供了一些基本数字，以便您对此问题有所了解。

以下是基准测试（操作/秒）与使用的线程数对应关系的图表：

随着分配更多资源给实例，您可以看到性能得到大幅提高。同时还可以可以将线程固定到某个CPU上以得到进一步的提升，但最适合您的选择可能取决于您的设置。默认情况下，此选项是禁用的。

仅将一个线程分配给KeyDB，平均而言，与 Redis 的单个线程实例相比，它仍可保持约5％的性能提升。因此，即使添加了新功能并更改了体系结构，性能也没有受到影响。

多线程架构

KeyDB 通过在多个线程上运行常规的 Redis 事件循环来工作。网络 IO 和查询解析是同时进行的。每个连接在 accept() 上分配一个线程。自旋锁保护对核心哈希表的访问。因为哈希表访问非常快，所以此锁的争用较低。事务在EXEC命令的持续时间内保持锁定。模块与GIL协同工作，而GIL仅在所有服务器线程都暂停时才获取。这保持了模块期望的原子性保证。

与大多数数据库不同，核心数据结构是系统中最快的部分。查询的大部分时间来自解析REPL协议并将数据复制到网络或从网络复制数据。

未来的工作包括允许在连接之后重新平衡与不同线程的连接，并允许多个读取器同时访问哈希表

进一步优化设置

此外，KeyDB 还提供了一些有助于简化用户体验的功能。例如活动副本功能已在最新的稳定版本 5 中广泛采用并在生产中使用。此功能使您能够在两个主节点彼此复制，同时接受读取和写入操作。而且不需要哨点节点来控制故障转移。您将获得很高的可用性，同时最大限度地利用资源。如果尚未平衡对副本节点的读取，则可以使用此选项将吞吐量提高一倍。这意味着从简单的 Redis 主副本设置转移到使用 KeyDB 的多线程活动副本设置，可以将分片需求减少多达10倍。关于主动复制的介绍可以阅读 “Redis复制和KeyDB活动复制：优化系统资源” 这篇文字。

如何做基准测试

基准测试时最重要的是确保基准测试工具不是瓶颈。我们需要使用分配了32个内核的amazon m5.8xlarge实例，以便为我们的单实例测试产生足够的容量。任何更低的基准测试工具将成为这些测试的瓶颈。对于测试实例，我们使用 RedisLabs 的Memtier。在我们的测试过程中，用于运行Redis和KeyDB实例的机器是amazon m5.4xlarge。

对于比较Redis和KeyDB的第一张图表，使用了以下命令：

Memtier： memtier_benchmark -s <'ip of test instance> -p 6379 –hide-histogram --authenticate <'yourpassword> --threads 32 –data-size <size of test ranging 8-16384>

KeyDB： keydb-server --port 6379 --requirepass <'yourpassword> --server-threads 7 --server-thread-affinity true

Redis： redis-server --port 6379 --requirepass <'yourpassword>

对于比较KeyDB ops / sec与启用的 #threads 的图表：

Memtier：memtier_benchmark -s <'ip of test instance> -p 6379 --hide-histogram --authenticate --threads 32 --data-size 32

KeyDB已固定： keydb-server --port 6379 --requirepass <'yourpassword> --server-threads <#threads used for test> --server-thread-affinity true

KeyDB取消固定： keydb-server --port 6379 --requirepass <'yourpassword> --server-threads <#threads used for test>

KeyDB 的项目介绍以及官网地址请看 https://www.oschina.net/p/KeyDB

微信关注我们

原文链接：https://my.oschina.net/javayou/blog/3114474

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

马蜂窝数据仓库的架构、模型与应用实践

（马蜂窝技术原创内容，公众号ID：mfwtech）一、马蜂窝数据仓库与数据中台最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后，借助平台化的思路，将数据更好地进行整合与统一，以组件化的方式实现灵活的数据加工与应用，以更清晰的数据职能组织应对业务的快速变化，以服务的方式更好地释放数据价值的一种方式。所以，数据中台更多的是体现一种管理思路和架构组织上的变革。在这样的思想下，我们结合自身业务特点建设了马蜂窝的数据中台，核心架构如下：在中台建设之前，马蜂窝已经建立了自己的大数据平台，并积累了一些通用、组件化的工具，这些可以支撑数据中台的快速搭建。作为中台的另一大核心部分，马蜂窝数据仓库主要承担数据统一化建设的工作，包括统一数据模型，统一指标体系等。下面介绍马蜂窝在数据仓库建设方面的具体实践。二、数据仓库核心架构马蜂窝数据仓库遵循标...

2019-10-08

675

原文地址：梁桂钊的博客博客地址：http://blog.720ui.com 欢迎关注公众号：「服务端思维」。一群同频者，一起成长，一起精进，打破认知的局限性。漫谈 GOF 设计模式在 Spring 框架中的实现在开始正文之前，请你先思考几个问题：你项目中有使用哪些 GOF 设计模式说一说 GOF 23 种设计模式的设计理念说说 Spring 框架中如何实现设计模式假设我是面试官问起了你这些面试题，你该如何回答呢，请先思考一分钟。好的，我们开始进入正题。设计模式实践里面提供了许多经久不衰的解决方案和最佳方案。这里，GOF 设计模式主要分为三大类：创建模式、结构模式和行为模式。创建模式对于创建对象实例非常有用。结构模式通过处理类或对象的组合来作用于企业级应用的设计结构，从而降低了应用的复杂性，提高了应用的可重用性和性能。行为模式的意图是一组对象之间的交互作用，以执行单个对象无法自己执行的任务。它描述了类或对象交互以及职责的分配。那么，本文的核心话题是 Spring 如何通过使用大量设计模式和良好实践来构建应用程序。工厂方法模式 Spring 框架使用工厂模式来实现 Sp...

2019-10-08

722

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。