干货分享 | HZERO系列组件之数据分发组件(二),ElasticSearch同步方案
上文我们讲述了利用数据分发组件如何进行广播表的数据分发,相信大家对数据分发也有了一定的了解,但是数据分发能做到的不仅仅是MYSQL表对表的同步,还有更多的适用场景,这里我们分享一个ElasticSearch同步方案。 同步方案概述 数据分发适用场景 本质上该工具是监控数据增量文件,进行增量数据分发,可以减少代码层面的埋点和开发,比较适合我们项目交付的场景: 1.大数据量查询瓶颈,关系型数据库MYSQL,当数据量达到一定量级时,查询会产生瓶颈,将数据分发至ES,利用ES的搜索特性可大幅提升查询性能; 2.业务产品和HZERO基础服务分数据库实例跨库查询问题,比如业务产品需要关联查询Iam_user用户表信息,除了使用Feign,还可以把Iam_user表分发到两个库中,在目标库直接Sql查询; 3.增量消息队列生产,监听Mysql binlog增量推送队列,可自定义消费者逻辑进行队列消费; 4.缓存数据同步,将Mysql数据同步至Redis,减少代码开发。 ElasticSearch同步方案 以改造O2产品订单查询为例 现状:产品层面按“平台”进行划分,底层分为了四套订单表,每套表有大部...