SpringBoot 项目优雅实现读写分离 | 京东云技术团队
一、读写分离介绍
当使用Spring Boot开发数据库应用时,读写分离是一种常见的优化策略。读写分离将读操作和写操作分别分配给不同的数据库实例,以提高系统的吞吐量和性能。
读写分离实现主要是通过动态数据源功能实现的,动态数据源是一种通过在运行时动态切换数据库连接的机制。它允许应用程序根据不同的条件或配置选择不同的数据源,以实现更灵活和可扩展的数据库访问。
二、实现读写分离-基础
1. 配置主数据库和从数据库的连接信息
# 主库配置 spring.datasource.master.jdbc-url=jdbc:mysql://ip:port/master?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai&useSSL=false spring.datasource.master.username=master spring.datasource.master.password=123456 spring.datasource.master.driver-class-name=com.mysql.jdbc.Driver # 从库配置 spring.datasource.slave.jdbc-url=jdbc:mysql://ip:port/slave?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai&useSSL=false spring.datasource.slave.username=slave spring.datasource.slave.password=123456 spring.datasource.slave.driver-class-name=com.mysql.jdbc.Driver
2. 创建主数据库和从数据库的数据源配置类
通过不同的条件限制和配置文件前缀可以完成不同数据源的创建工作,不止是主从也可以是多个不同的数据库
主库数据源配置
@Configuration @ConditionalOnProperty("spring.datasource.master.jdbc-url") public class MasterDataSourceConfiguration { @Bean("masterDataSource") @ConfigurationProperties(prefix = "spring.datasource.master") public DataSource masterDataSource() { return DataSourceBuilder.create().build(); } }
从库数据源配置
@Configuration @ConditionalOnProperty("spring.datasource.slave.jdbc-url") public class SlaveDataSourceConfiguration { @Bean("slaveDataSource") @ConfigurationProperties(prefix = "spring.datasource.slave") public DataSource slaveDataSource() { return DataSourceBuilder.create().build(); } }
3. 创建主从数据源枚举
public enum DataSourceTypeEnum { /** * 主库 */ MASTER, /** * 从库 */ SLAVE, ; }
4. 创建动态路由数据源
这儿做了一个开关,可以控制读写分离的开启和关闭工作,可以讲操作全部切换到主库进行。然后根据上下文中的数据源类型来返回不同的数据源类型枚举
@Slf4j public class DynamicRoutingDataSource extends AbstractRoutingDataSource { @Value("${DB_RW_SEPARATE_SWITCH:false}") private boolean dbRwSeparateSwitch; @Override protected Object determineCurrentLookupKey() { if(dbRwSeparateSwitch && DataSourceTypeEnum.SLAVE.equals(DataSourceContextHolder.getDataSourceType())) { log.info("DynamicRoutingDataSource 切换数据源到从库"); return DataSourceTypeEnum.SLAVE; } log.info("DynamicRoutingDataSource 切换数据源到主库"); // 根据需要指定当前使用的数据源,这里可以使用ThreadLocal或其他方式来决定使用主库还是从库 return DataSourceTypeEnum.MASTER; } }
5. 创建动态数据源配置类
将主数据库和从数据库的数据源添加到动态数据源中,并可以通过枚举创建一个数据源 map,这样就可以通过上面的路由返回的枚举来切换数据源
@Configuration @ConditionalOnProperty("spring.datasource.master.jdbc-url") public class DynamicDataSourceConfiguration { @Bean("dataSource") @Primary public DataSource dynamicDataSource(DataSource masterDataSource, DataSource slaveDataSource) { Map<Object, Object> targetDataSources = new HashMap<>(); targetDataSources.put(DataSourceTypeEnum.MASTER, masterDataSource); targetDataSources.put(DataSourceTypeEnum.SLAVE, slaveDataSource); DynamicRoutingDataSource dynamicDataSource = new DynamicRoutingDataSource(); dynamicDataSource.setTargetDataSources(targetDataSources); dynamicDataSource.setDefaultTargetDataSource(masterDataSource); return dynamicDataSource; } }
6. 创建DatasourceContextHolder类使用ThreadLocal存储当前线程的数据源类型
注意这儿有个潜在风险就是创建新的线程时会导致 ThreadLocal 中的数据无法正确读取,如果涉及到在开启新线程可以使用 TransmittableThreadLocal 来进行父子线程数据的同步,git 地址: https://github.com/alibaba/transmittable-thread-local
public class DataSourceContextHolder { private static final ThreadLocal<DataSourceTypeEnum> contextHolder = new ThreadLocal<>(); public static void setDataSourceType(DataSourceTypeEnum dataSourceType) { contextHolder.set(dataSourceType); } public static DataSourceTypeEnum getDataSourceType() { return contextHolder.get(); } public static void clearDataSourceType() { contextHolder.remove(); } }
7. 创建自定义注解,用于标记主和从数据源
@Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) public @interface MasterDataSource { }
@Retention(RetentionPolicy.RUNTIME) @Target(ElementType.METHOD) public @interface SlaveDataSource { }
8. 创建切面类,拦截数据库操作,并根据注解设置切换数据源参数
@Aspect @Component public class DataSourceAspect { @Before("@annotation(xxx.MasterDataSource)") public void setMasterDataSource(JoinPoint joinPoint) { DataSourceContextHolder.setDataSourceType(DataSourceTypeEnum.MASTER); } @Before("@annotation(xxx.SlaveDataSource)") public void setSlaveDataSource(JoinPoint joinPoint) { DataSourceContextHolder.setDataSourceType(DataSourceTypeEnum.SLAVE); } @After("@annotation(xxx.MasterDataSource) || @annotation(xxx.SlaveDataSource)") public void clearDataSource(JoinPoint joinPoint) { DataSourceContextHolder.clearDataSourceType(); } }
9. 在Service层的方法上使用自定义注解标记查询数据源
@Service public class TestService { @Autowired private TestDao testDao; @SlaveDataSource public Test test() { return testDao.queryByPrimaryKey(11L); } }
10. 排除掉数据源自动配置类
如果不排除自动配置类会导致初始化多个 dataSource 对象导致出现问题
SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})
三、实现读写分离-进阶
1. 使用链接池,以Hikari为例
修改链接配置,加入链接池相关配置即可
# 主库配置 spring.datasource.master.jdbc-url=jdbc:mysql://ip:port/master?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai&useSSL=false spring.datasource.master.username=master spring.datasource.master.password=123456 spring.datasource.master.driver-class-name=com.mysql.jdbc.Driver spring.datasource.master.type=com.zaxxer.hikari.HikariDataSource spring.datasource.master.hikari.name=master spring.datasource.master.hikari.minimum-idle=5 spring.datasource.master.hikari.idle-timeout=30 spring.datasource.master.hikari.maximum-pool-size=10 spring.datasource.master.hikari.auto-commit=true spring.datasource.master.hikari.pool-name=DatebookHikariCP spring.datasource.master.hikari.max-lifetime=1800000 spring.datasource.master.hikari.connection-timeout=30000 spring.datasource.master.hikari.connection-test-query=SELECT 1 # 从库配置 spring.datasource.slave.jdbc-url=jdbc:mysql://ip:port/slave?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai&useSSL=false spring.datasource.slave.username=root spring.datasource.slave.password=123456 spring.datasource.slave.driver-class-name=com.mysql.jdbc.Driver spring.datasource.slave.type=com.zaxxer.hikari.HikariDataSource spring.datasource.slave.hikari.name=master spring.datasource.slave.hikari.minimum-idle=5 spring.datasource.slave.hikari.idle-timeout=30 spring.datasource.slave.hikari.maximum-pool-size=10 spring.datasource.slave.hikari.auto-commit=true spring.datasource.slave.hikari.pool-name=DatebookHikariCP spring.datasource.slave.hikari.max-lifetime=1800000 spring.datasource.slave.hikari.connection-timeout=30000 spring.datasource.slave.hikari.connection-test-query=SELECT 1
2. 集成 mybatis 并在写入时强制切换到主库
不需要做任何配置,正常集成 mybatis 即可使用读写分离功能
可以通过 mybatis 的拦截器在写入操作时强制切换到主库
@Intercepts({ @Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class}), }) @Component public class WriteInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { // 获取 SQL 类型 DataSourceTypeEnum dataSourceType = DataSourceContextHolder.getDataSourceType(); if(DataSourceTypeEnum.SLAVE.equals(dataSourceType)) { DataSourceContextHolder.setDataSourceType(DataSourceTypeEnum.MASTER); } try { // 执行 SQL return invocation.proceed(); } finally { // 恢复数据源 考虑到写入后可能会反查,后续都走主库 // DataSourceContextHolder.setDataSourceType(dataSourceType); } } }
作者:京东健康 苏曼
来源:京东云开发者社区 转发请注明来源

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Kotlin 1.9.20 现已发布,KMP 进入稳定阶段
记得加关注, Kotlin 之路不迷路! Kotlinlang.org Kotlin 1.9.20 版本已发布,适用于所有目标的 K2 编译器现已进入测试版阶段,Kotlin Multiplatform 现已进入稳定阶段1。 以下是此版本的一些亮点: 适用于所有目标的 K2 现已进入测试版阶段 稳定的 Kotlin Multiplatform 用于设置多平台项目的新默认层次结构模板 Kotlin Multiplatform 中全面支持 Gradle 配置缓存 Kotlin/Native 中默认启用自定义内存分配器 Kotlin/Native 中垃圾回收器的性能改进 Kotlin/Wasm 中的新目标和重命名目标,支持最新的 Wasm GC Kotlin/Wasm 的标准库中支持 WASI API 有关完整的更改列表,请参阅Kotlin 1.9.20 最新变化2或GitHub 上的版本说明3。 适用于所有目标的新 Kotlin K2 编译器已进入测试版阶段 JetBrains 的 Kotlin 团队正在继续稳定新 K2 编译器,这将带来重大性能改进,加快新语言功能的开发,统一 Kot...
- 下一篇
怎样阅读 h2 数据库源码 | 京东物流技术团队
阅读 h2 数据库的源码是一项复杂的任务,需要对数据库原理、Java 语言和操作系统有深入的理解。可以从以下几方面入手来完成。 环境准备 首先,你需要在你的机器上安装和配置好开发环境,包括 JDK、Maven、IDE 调试器等工具。 然后,从h2 的官方网站或GitHub上下载源码。 IDE 导入 h2 数据库源码,根据不同的调试场景,启用不同的模式。 Client/Server 模式 # 约等于 java -cp h2-*.jar org.h2.tools.Console java -cp h2-*.jar 本地 Shell 模式 java -cp h2-*.jar org.h2.tools.Shell 理解架构 在阅读源码之前,理解 h2 数据库的整体架构和主要组件是非常重要的。可以从官方文档或在线教程中获取这些信息。 官方架构讲解Architecture 选择关注点 h2 数据库的源码非常多,功能非常丰富,可能无法一次性完全理解。因此,选择一个特定的模块或功能(如查询优化器、存储引擎、事务处理等)作为起点,然后逐步扩大你的阅读范围。 基于的 BTree Pa...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Mario游戏-低调大师作品
- CentOS8编译安装MySQL8.0.19
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS6,7,8上安装Nginx,支持https2.0的开启