数据库主从不一致,怎么解?
在聊数据库与缓存一致性问题之前,先聊聊数据库主库与从库的一致性问题。
问:常见的数据库集群架构如何?
答:一主多从,主从同步,读写分离。
如上图:
- 一个主库提供写服务
- 多个从库提供读服务,可以增加从库提升读性能
- 主从之间同步数据
画外音:任何方案不要忘了本心,加从库的本心,是提升读性能。
问:为什么会出现不一致?
答:主从同步有时延,这个时延期间读从库,可能读到不一致的数据。
如上图:
- 服务发起了一个写请求
- 服务又发起了一个读请求,此时同步未完成,读到一个不一致的脏数据
- 数据库主从同步最后才完成
画外音:任何数据冗余,必将引发一致性问题。
问:如何避免这种主从延时导致的不一致?
答:常见的方法有这么几种。
方案一:忽略
任何脱离业务的架构设计都是耍流氓,绝大部分业务,例如:百度搜索,淘宝订单,QQ消息,58帖子都允许短时间不一致。
画外音:如果业务能接受,最推崇此法。
如果业务能够接受,别把系统架构搞得太复杂。
方案二:强制读主
如上图:
- 使用一个高可用主库提供数据库服务
- 读和写都落到主库上
- 采用缓存来提升系统读性能
这是很常见的微服务架构,可以避免数据库主从一致性问题。
方案三:选择性读主
强制读主过于粗暴,毕竟只有少量写请求,很短时间,可能读取到脏数据。
有没有可能实现,只有这一段时间,可能读到从库脏数据的读请求读主,平时读从呢?
可以利用一个缓存记录必须读主的数据。
如上图,当写请求发生时:
- 写主库
- 将哪个库,哪个表,哪个主键三个信息拼装一个key设置到cache里,这条记录的超时时间,设置为“主从同步时延”
画外音:key的格式为“db:table:PK”,假设主从延时为1s,这个key的cache超时时间也为1s。
如上图,当读请求发生时:
这是要读哪个库,哪个表,哪个主键的数据呢,也将这三个信息拼装一个key,到cache里去查询,如果,
- cache里有这个key,说明1s内刚发生过写请求,数据库主从同步可能还没有完成,此时就应该去主库查询
- cache里没有这个key,说明最近没有发生过写请求,此时就可以去从库查询
以此,保证读到的一定不是不一致的脏数据。
总结
数据库主库和从库不一致,常见有这么几种优化方案:
- 业务可以接受,系统不优化
- 强制读主,高可用主库,用缓存提高读性能
- 在cache里记录哪些记录发生过写请求,来路由读主还是读从
文字很短,不能解决所有问题,但希望能给大家一些启示。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
吐血总结了各个中间件是如何实现持久化的
文转载自微信公众号「Java3y」,作者Java3y。转载本文请联系Java3y公众号。 \到目前为止,三歪也已经接触到了不少的中间件了,比如说「Elasticsearch」「Redis」「HDFS」「Kafka」「HBase」等等。 可以发现的是,它们的持久化机制都差不得太多。今天想来总结一下,一方面想来回顾一下这些组件,一方面给还没入门过这些中间件的同学总结一下持久化的”套路“,后面再去学习的时候就会轻松很多。 这些中间件我的GitHub目录都是在的: https://github.com/ZhongFuCheng3y/3y https://gitee.com/zhongfucheng/Java3y 持久化 下面我们就直接来分别回顾一下各个中间件/组件的持久化机制,最后再总结就好了(三歪相信大家应该也能从回顾中看出些端倪) 为什么要持久化?原因也很简单:数据需要存储下来,不希望出了问题导致数据丢失 Elasticsearch Elasticsearch是一个全文搜索引擎,对模糊搜索非常擅长。 Elasticsearch在写数据的时候,会先写到内存缓存区,然后写到translog缓存...
- 下一篇
从零开始手写 mybatis(二)mybatis interceptor 插件机制详解
前景回顾 第一节 从零开始手写 mybatis(一)MVP 版本 中我们实现了一个最基本的可以运行的 mybatis。 常言道,万事开头难,然后中间难。 mybatis 的插件机制是 mybatis 除却动态代理之外的第二大灵魂。 下面我们一起来体验一下这有趣的灵魂带来的痛苦与快乐~ 插件的作用 在实际开发过程中,我们经常使用的Mybaits插件就是分页插件了,通过分页插件我们可以在不用写count语句和limit的情况下就可以获取分页后的数据,给我们开发带来很大 的便利。除了分页,插件使用场景主要还有更新数据库的通用字段,分库分表,加解密等的处理。 这篇博客主要讲Mybatis插件原理,下一篇博客会设计一个Mybatis插件实现的功能就是每当新增数据的时候不用数据库自增ID而是通过该插件生成雪花ID,作为每条数据的主键。 JDK动态代理+责任链设计模式 Mybatis的插件其实就是个拦截器功能。它利用JDK动态代理和责任链设计模式的综合运用。采用责任链模式,通过动态代理组织多个拦截器,通过这些拦截器你可以做一些你想做的事。 所以在讲Mybatis拦截器之前我们先说说JDK动态代理+责...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS8编译安装MySQL8.0.19
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Hadoop3单机部署,实现最简伪集群