跨越异构鸿沟，Redis 迁移同步过程中的挑战与解决方案-低调大师

跨越异构鸿沟，Redis 迁移同步过程中的挑战与解决方案

2021-02-26 520

随着云计算十余年的高速发展，作为目前可见的最新阶段，多云正在快步大踏步前进。而多云趋势所带来得数据云间迁移，也逐步常态化。因此，缓存 Redis 已成为高并发场景下提升数据访问速度的标配。

不仅是数据云间迁移，目前大型系统对于缓存强依赖，致使大多数企业都会面临大量并发读写数据时访问速度慢、数据库压力大，以及缓存数据不⾜带来的缓存击穿及雪崩⻛险。其中，Redis 就起到了降低数据库压力，提升数据访问速度的作用。

下图是某网站业务的解决访问速度慢的问题，引入缓存Redis提升访问速度的流程：

但在 Redis 迁移同步过程中，势必会面临着许多挑战：

rdb版本不⼀致导致源 redis dump⽂件在⽬标redis中不能加载

数据节点不⼀致带来的 redis 主从复制⽅案失效

应⽤快速割接的⽤⼾需求

⾮幂等命令的幂等要求

正因如此，应运而生。_RedisSyncer 是京东云用于在 redis 之间数据同步的产品，支持跨版本、异构集群间的数据同步。_它模拟了redis的replication协议，在rdb版本不⼀致时进⾏命令转换，以实现跨rdb版本迁移，并通过缓存value的⽅式完成INCR、INCRBY、DECR、DECRBY等⾮命令的幂等转换。最终适应云上与云下、原生与托管等多种场景，能够快速灵活地满足用户的同步、迁移、扩容的需求。

RedisSyncer案例解析

某金融机构为保障金融数据安全、符合金融数据规范，需要将原⽣redis集群迁移⾄该金融机构⾃研的upredis集群，并保证业务系统平滑过渡。

项⽬挑战

版本差异
降版本迁移
集群节点数不⼀致
极速回退需求

最终客⼾收益

实现15分钟完成 256GB+数据迁移
20分钟完成系统割接
迁移过程“丝般柔顺”

RedisSyncer 操作实战

必要环境
docker
docker-compose
使⽤docker-compose 部署服务

Plain Text

git clone https://github.com/TraceNature/redissyncer.git
cd redissyncer
docker-compose up -d

下载并配置cli客⼾端

wget https://github.com/TraceNature/redissyncercli/
releases/download/v0.1.0/redissyncer-cli-0.1.0-linux-amd64.tar.gz
.config.yaml


syncserver: http://10.0.1.20:8080
token: 379F5E2BD55A4608B6A7557F0583CFC5

⽣成数据

./rsst -c ../config.yml generatedata -i 1 -a 10.0.1.101:6479 -p
redistest0102

编写要执⾏的任务json redissyncer-cli需要增加taskexamples


"sourcePassword": "redistest0102",
"sourceRedisAddress": "10.0.1.101:6379",
"targetRedisAddress": "10.0.1.102:6379",
"targetPassword": "redistest0102",
"taskName": "testtask",
"targetRedisVersion": 4.0,
"autostart": true,
"afresh": true,
"batchSize": 100
}

启动任务

redissyncer-cli -i
redissyncer-cli > task create source ./task.json

数据校验

wget
https://github.com/TraceNature/rediscompare/releases/download/v1.0.0/r
ediscompare-1.0.0-linux-amd64.tar.gz

rediscompare compare single2single --saddr "10.0.1.101:6479" --
spassword "redistest0102" --taddr "10.0.1.102:6479" --tpassword
"redistest0102" --comparetimes 3

Github 地址：

https://github.com/TraceNature/redissyncer-server

大数据服务器环境准备(三台服务)

@TOC <hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1"> 前言 <font color=#999AAA >本文主要记录大数据环境准备及hadoop和zookeeper集群搭建，服务器方面不缺钱可以直接买阿里云的ecs，这里用VmWare虚拟机作为示例。</font> <hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1"> <font color=#999AAA >提示：以下是本篇文章正文内容，下面案例可供参考一、三台linux服务器的安装 1. 安装VmWare VMWare虚拟机软件是一个“虚拟PC”软件，它使你可以在一台机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比，VMWare采用了完全不同的概念。我们可以通过Vmware来安装我们的linux虚拟机，然后通过linux虚拟机来进行集群...

2021-02-26

655

摘要：Roach工具是GaussDB(DWS)推出的一款主力的备份恢复工具，包含物理与逻辑备份两种主要能力，本文着重于讲解Roach逻辑备份的实现原理。一、简介在大数据时代，数据的完整和可靠性成为一个数仓最核心的能力之一。GaussDB(DWS)以其出众的分布式计算和存储能力广受用户青睐的同时，也特别着眼于数据备份容灾领域的创新和打磨。数据的可靠性可以说是数仓的“命门”。对于企业、政府等用户，如果因为硬件故障导致的文件损坏，或是业务操作的误删，导致了数据损坏或丢失，那么损失将是不可估量的。GaussDB(DWS)提供的Roach工具，将以其稳定、快速、可靠的备份能力，通过备份恢复数据库或业务表，为客户准备一个可靠的“后悔药”，从而有效地挽回客户损失。二、Roach备份恢复基本框架 GaussDB(DWS)的Roach工具，同时提供物理备份和逻辑备份两种主要形态的备份。物理备份直接通过拷贝文件块，存储于备份介质之上，恢复时使用备份的文件块，重建集群中实例DN与CN的数据目录进行恢复。本文中我们主要着眼于逻辑备份，在当前的GaussDB(DWS)中，相比于物理备份，逻辑备份拥有更好...

2021-02-26

586

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。