建立高可靠、高性能的同步中间件(MirrorMaker)设计文档
FMQ同步中间件(MirrorMaker) 简介 FMQ的同步中间件英文名称为MirrorMaker,是在FMQ-Client的基础上引变而来的,用来作为跨机房的数据同步的工具。在网络异常等特殊情况下,也能在可靠性和性能上都能够满足公司线上需求而开发的一套同步中间件。 设计目标 MirrorMaker设计思路比较好理解,利用消费者从源机房拉取消息,并利用生产者发送消息至目标机房。但往往网络环境、broker集群稳定性、topic队列都会不断变化,在这种特殊情况下,也要实现一个高可靠、高性能的消息同步中间件需要考虑的细节非常多。比如消息幂等性、自动监控并切换网络出口、监控异常报警等。FMQ-mirrormaker就是针对这种特殊场景进行了定制化开发,实现高可靠和高性能的消息同步中间件。 应用模型 代码架构图 模块图 配置管理:配置source和target的broker的url、同步线程数、报警配置以及队列大小等 报警管理:基于event发布中心订阅相关的事件,并接入报警平台进行报警 消息同步管理:包括消费者管理、队列管理、生产者管理、Offset管理 监控管理:实时从...
