SpringBoot主从数据源切换-低调大师

SpringBoot主从数据源切换

2020-09-15 699

SpringBoot主从数据源切换

1.原理

借助spring的【org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource】这个抽象类实现，来进行·数据源的路由，并通过Aop 进行路由选择。

2.配置主从数据源

# dev server
# 多数据源时，主数据源为 master
spring.datasource.master.jdbc-url=jdbc:mysql://localhost:3306/epoint?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&autoReconnect=true&failOverReadOnly=false
spring.datasource.master.username=test
spring.datasource.master.password=test

# dev server
# 多数据源时，从数据源为 slave
spring.datasource.slave.jdbc-url=jdbc:mysql://localhost:3306/epoint2?characterEncoding=utf8&allowMultiQueries=true&useSSL=false&autoReconnect=true&failOverReadOnly=false
spring.datasource.slave.username=test
spring.datasource.slave.password=test

启动报错处理

spring boot ：error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required
配置多个数据源启动报错，error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required，
主要原因是在1.0 配置数据源的过程中主要是写成：spring.datasource.url 和spring.datasource.driverClassName。
而在2.0升级之后需要变更成：spring.datasource.jdbc-url和spring.datasource.driver-class-name即可解决！
更改配置：spring.datasource.master.url  ->  spring.datasource.master.jdbc-url

3.获取当前线程的数据源类型

/**
 * describe:定义HandleDataSource类来获取当前线程的数据源类型
 * current user Maochao.zhu
 * current system 2020/9/15
 */
public class HandleDataSource {
    public static final ThreadLocal<String> holder = new ThreadLocal<String>();

    /**
     * 绑定当前线程数据源
     *
     * @param datasource
     */
    public static void putDataSource(String datasource) {
        holder.set(datasource);
    }

    /**
     * 获取当前线程的数据源
     *
     * @return
     */
    public static String getDataSource() {
        return holder.get();
    }

}

3.1线程冲突问题

注意：因为新加了数据库线程处理类，和原来存在的多线程处理类冲突，会造成现有程序“卡顿”或者“死机”，因此去除原来配置的定时任务多线程配置

/**
 * describe:配置多线程定时器
 * current user Maochao.zhu
 * current system 2020/1/20
 */
@Configuration
@EnableScheduling
public class ScheduleConfig implements SchedulingConfigurer {
    @Override
    public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {
        Method[] methods = BatchProperties.Job.class.getMethods();
        int defaultPoolSize = 3;
        int corePoolSize = 0;
        if (methods != null && methods.length > 0) {
            for (Method method : methods) {
                Scheduled annotation = method.getAnnotation(Scheduled.class);
                if (annotation != null) {
                    corePoolSize++;
                }
            }
            if (defaultPoolSize > corePoolSize)
                corePoolSize = defaultPoolSize;
        }
        taskRegistrar.setScheduler(Executors.newScheduledThreadPool(corePoolSize));
    }
}

4.定义路由数据源的实现类

/**
 * describe:定义路由数据源的实现类MyAbstractRoutingDataSource
 * current user Maochao.zhu
 * current system 2020/9/15
 */
public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {
    private final Logger log = LoggerFactory.getLogger(this.getClass());
    @Override
    protected Object determineCurrentLookupKey() {
        log.info("###请求的数据源：{}",HandleDataSource.getDataSource());
        return HandleDataSource.getDataSource();//获取对应的数据源
    }
}

5.配置数据源和路由

/**
 * describe:配置数据源数据源和路由配置
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Configuration
public class DataSourceConfig {
    //主数据源
    @Bean()
    @ConfigurationProperties(prefix = "spring.datasource.master")
    public DataSource MasterDataSource() {
        return DataSourceBuilder.create().build();
    }
    //从数据源
    @Bean()
    @ConfigurationProperties(prefix = "spring.datasource.slave")
    public DataSource SlaveDataSource() {
        return DataSourceBuilder.create().build();
    }
    /**
     * 设置数据源路由，通过该类中的determineCurrentLookupKey决定使用哪个数据源
     */
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);//存放对于数据源的映射
        targetDataSources.put("master", MasterDataSource());
        targetDataSources.put("slave", SlaveDataSource());
        proxy.setDefaultTargetDataSource(MasterDataSource());
        proxy.setTargetDataSources(targetDataSources);
        return proxy;
    }


    @Bean(name = "SqlSessionFactory")
    @Primary
    public SqlSessionFactory MasterSqlSessionFactory(DataSource routingDataSource) throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource);//DataSource使用路由数据源

        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
        try {
            bean.setMapperLocations(resolver.getResources("classpath*:mapper/**/*.xml"));
            bean.setConfigLocation(resolver.getResource("classpath:mybatis-config.xml"));
            return bean.getObject();
        } catch (Exception e) {
            e.printStackTrace();
            throw new RuntimeException(e);
        }

    }

    @Bean(name = "TransactionManager")
    @Primary
    public DataSourceTransactionManager testTransactionManager(DataSource routingDataSource) {
        return new DataSourceTransactionManager(routingDataSource);
    }

    @Bean(name = "SqlSessionTemplate")
    @Primary
    public SqlSessionTemplate MasterSqlSessionTemplate(SqlSessionFactory sqlSessionFactory) throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory);
    }
}

5.1启动权限shiro问题

注意：配置路由设置后，原来的apache.shiro 权限读取不到问题，排查以后确定原因是在使用配置路由设置,原来在application.properties中配置的mybaits属性,将不起作用，因此需要新加一个配置文件(mybatis-config.xml),从中读取配置信息，其中ShiroConfig配置类中新增注解支持

/**
 * 开启Shiro的注解(如@RequiresRoles,@RequiresPermissions),需借助SpringAOP扫描使用Shiro注解的类,并在必要时进行安全逻辑验证
 * 配置以下两个bean(DefaultAdvisorAutoProxyCreator和AuthorizationAttributeSourceAdvisor)即可实现此功能
 * @return
 */
@Bean
@ConditionalOnMissingBean
public DefaultAdvisorAutoProxyCreator defaultAdvisorAutoProxyCreator(){
	DefaultAdvisorAutoProxyCreator advisorAutoProxyCreator = new DefaultAdvisorAutoProxyCreator();
	advisorAutoProxyCreator.setProxyTargetClass(true);
	return advisorAutoProxyCreator;
}

/**
 * 开启shiro aop注解支持.
 * 使用代理方式;所以需要开启代码支持;
 * @param securityManager
 * @return
 * */
@Bean
public AuthorizationAttributeSourceAdvisor authorizationAttributeSourceAdvisor(SecurityManager securityManager){
	AuthorizationAttributeSourceAdvisor authorizationAttributeSourceAdvisor = new AuthorizationAttributeSourceAdvisor();
	authorizationAttributeSourceAdvisor.setSecurityManager(securityManager);
	return authorizationAttributeSourceAdvisor;
}

6.加载mybatis配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <settings>
        <setting name="cacheEnabled" value="true" />
        <setting name="lazyLoadingEnabled" value="true" />
        <setting name="multipleResultSetsEnabled" value="true" />
        <setting name="useColumnLabel" value="true" />
        <setting name="useGeneratedKeys" value="false" />
        <setting name="defaultExecutorType" value="SIMPLE" />
        <setting name="mapUnderscoreToCamelCase" value="true" />
        <setting name="logImpl" value="STDOUT_LOGGING" />
    </settings>
</configuration>

7.新建注解来注释使用的数据源

/**
 * describe:DataSource注解来注释Mapper接口所要使用的数据源
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface DataSource {
    String value();//设置数据源类型
}

8.配置Aop

/**
 * describe:配置Aop切换路由选择
 * current user Maochao.zhu
 * current system 2020/9/15
 */
@Aspect
@Component
public class DataSourceAspect {
    public Logger logger = LoggerFactory.getLogger(this.getClass());
    /**
     * 在dao层方法获取datasource对象之前，在切面中指定当前线程数据源
     */
    @Pointcut("execution(* com.cn.zx.dao..*.*(..))")//切点为所有的mapper接口
    public void pointcut() {

    }

    @Before("pointcut()")
    public void before(JoinPoint point) {
        System.out.println("before");
        Object target = point.getTarget();
        String method = point.getSignature().getName();
        Class<?>[] classz = target.getClass().getInterfaces();// 获取目标类的接口， 所以@DataSource需要写在接口上
        Class<?>[] parameterTypes = ((MethodSignature) point.getSignature()).getMethod().getParameterTypes();
        try {
            Method m = classz[0].getMethod(method, parameterTypes);
            if (m != null && m.isAnnotationPresent(DataSource.class)) {
                DataSource data = m.getAnnotation(DataSource.class);
                System.out.println("####################用户选择数据库库类型：" + data.value());
                HandleDataSource.putDataSource(data.value());// 数据源放到当前线程中
            }
            logger.info("执行接口方法:{}.{}", point.getSignature().getDeclaringTypeName(), point.getSignature().getName());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

9.设置数据源类型

在对应的mapper方法上使用注解DataSource("master/slave")来设置数据源类型

/**
 * 调用主数据源 master
 * @param user
 * @return
 */
@DataSource("master")
Integer insertUser(User user);

/**
 * 调用从数据源 slave
 * @param user
 * @return
 */
@DataSource("slave")
List<User> getUserList(User user);

10.事务失效问题

添加主从数据库以后，事务就失效了，原因还在找 ,初步定位为：事务和切面的执行顺序问题 @EnableTransactionManagement(order = 2) @Order(2)

解决：

SpringbootApplication启动类增加注解开启事务注解,数据库表引擎更改为innodb，如果是myisam，事务是不起作用的
@EnableTransactionManagement

事务的管理方式有两种：第一种:编程式事务管理，需要将数据库的自动提交等取消，并且需要自己编写事务代码。第二种:声明式事务管理模式，spring利用spring AOP特性编写了注解。

10.1@Transactional注解的特性

1.service类标签(一般不建议在接口上)上添加@Transactional，可以将整个类纳入spring事务管理，在每个业务方法执行时都会开启一个事务，不过这些事务采用相同的管理方式。并且当在某个service实现类中某个方法调用了另一个这个实现类中的方法，则两个方法都必须声明事务，才能被当成一个事务进行管理
2.@Transactional 注解只能应用到 public 可见度的方法上。 如果应用在protected、private或者 package可见度的方法上，也不会报错，不过事务设置不会起作用。
3.默认情况下，spring会对unchecked异常进行事务回滚；如果是checked异常则不回滚。

10.2checked异常

那么什么是checked异常，什么是unchecked异常 java里面将派生于Error或者RuntimeException（比如空指针，1/0）的异常称为unchecked异常，其他继承自java.lang.Exception得异常统称为Checked Exception，如IOException、TimeoutException等，通俗一点：你写代码出现的空指针等异常，会被回滚，文件读写，网络出问题，spring就没法回滚了。

10.3只读事务

@Transactional(propagation=Propagation.NOT_SUPPORTED,readOnly=true) 
只读标志只在事务启动时应用，否则即使配置也会被忽略。 
启动事务会增加线程开销，数据库因共享读取而锁定(具体跟数据库类型和事务隔离级别有关)。通常情况下，仅是读取数据时，不必设置只读事务而增加额外的系统开销。

10.4事务传播模式

Propagation枚举了多种事务传播模式，部分列举如下：
1. REQUIRED(默认模式)：业务方法需要在一个容器里运行。如果方法运行时，已经处在一个事务中，那么加入到这个事务，否则自己新建一个新的事务。
2. NOT_SUPPORTED：声明方法不需要事务。如果方法没有关联到一个事务，容器不会为他开启事务，如果方法在一个事务中被调用，该事务会被挂起，调用结束后，原先的事务会恢复执行。
3. REQUIRESNEW：不管是否存在事务，该方法总汇为自己发起一个新的事务。如果方法已经运行在一个事务中，则原有事务挂起，新的事务被创建。
4. MANDATORY：该方法只能在一个已经存在的事务中执行，业务方法不能发起自己的事务。如果在没有事务的环境下被调用，容器抛出例外。
5. SUPPORTS：该方法在某个事务范围内被调用，则方法成为该事务的一部分。如果方法在该事务范围外被调用，该方法就在没有事务的环境下执行。
6. NEVER：该方法绝对不能在事务范围内执行。如果在就抛例外。只有该方法没有关联到任何事务，才正常执行。
7. NESTED：如果一个活动的事务存在，则运行在一个嵌套的事务中。如果没有活动事务，则按REQUIRED属性执行。它使用了一个单独的事务，这个事务拥有多个可以回滚的保存点。内部事务的回滚不会对外部事务造成影响。它只对DataSourceTransactionManager事务管理器起效。

10.5解决Transactional注解不回滚

1. 检查你方法是不是public的。
2. 你的异常类型是不是unchecked异常。空指针异常是unchecked异常,如果我想check异常也想回滚怎么办，注解上面写明异常类型即可。
@Transactional(rollbackFor={Exception.class.RuntimeException.class})
类似的还有norollbackFor，自定义不回滚的异常。如果已经在service中进行了try catch 操作,由于已经被抓获异常,事务也不会回滚
3. 数据库引擎要支持事务，如果是mysql，注意表要使用支持事务的引擎，比如innodb，如果是myisam，事务是不起作用的。
4. 是否开启了对注解的解析
	4.1 SpringMVC中开启：
		<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true"/>
	4.2 pringboot中开启：
		启动类增加注解：@EnableTransactionManagement
		类方法中增加注解：@Transactional
5. spring是否扫描到你这个包，如下是扫描到org.test下面的包
	<context:component-scan base-package="org.test" ></context:component-scan>

10.6数据库引擎设置

mysql数据库引擎innodb设置

10.6.1查看支持的引擎

show engines;

10.6.2查看默认引擎

show variables like 'default_storage_engine';

10.6.3修改默认引擎

修改mysql 默认的数据库引擎
在配置文件my.ini中的 [mysqld] 下面加入default-storage-engine=INNODB
如果启动不起来,找到 skip-innodb 项，将其改为 #skip-innodb（要不然知识修改了 InnoDB 服务起不来）
重启Mysql服务器,设置生效。

10.6.4修改数据表引擎

如数据库名为： epoint,修改数据库表引擎从 MyISAM -> InnoDB

10.6.5查询所有表状态

SHOW TABLE STATUS FROM epoint;

10.6.6查询修改表引擎的SQL

SELECT GROUP_CONCAT(CONCAT( 'ALTER TABLE ' ,TABLE_NAME ,' ENGINE=InnoDB; ') SEPARATOR '' ) 
FROM information_schema.TABLES AS t 
WHERE TABLE_SCHEMA = 'epoint' AND TABLE_TYPE = 'BASE TABLE';

10.6.7得到SQL执行

ALTER TABLE branch ENGINE=InnoDB;

10.6.8查询所有表状态

SHOW TABLE STATUS FROM epoint;

修改所有数据库表的引擎为InnoDB结束

11.主从数据库同步问题

主从数据库数据同步问题定位： 1.程序同步。 2.数据库操作同步数据因为要读写分离，肯定要设置数据库权限，主数据库可以读写，从数据库只能读，所以这个方法行不通，只能从数据库方面进行设置主从数据同步。

1.查看mysql的安装路径

通过mysql命令查看mysql的安装路径：

select @@basedir as basePath from dual;
SELECT @@basedir;

获取路径：C:\Program Files\MySQL\MySQL Server 5.7\

2.配置主数据库

在my.ini 文件中找到[mysqld] 添加如下配置（需要同步的数据库有多少都可以写进去，主从同步会根据库名称找到对应的丛库去同步数据）

server-id=1#主库和从库需要不一致
log-bin=mysql-bin
binlog-do-db=mstest#同步的数据库
binlog-ignore-db=mysql#不需要同步的数据库

2.1重启MySql 服务,查询主库状态

mysql> SHOW VARIABLES LIKE 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id     | 1     |
+---------------+-------+
1 row in set

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000007 |     5138 | epoint       |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set

2.2为从库创建账号,赋值所有权限

grant all on *.* to 'user'@'%' identified by 'user';

3.配置从数据库

在my.ini 文件中找到[mysqld] 添加如下配置（需要同步的数据库有多少都可以写进去，主从同步会根据库名称找到对应的丛库去同步数据）

server-id=2#和主库不一致
replicate-do-db=test#需要同步的库1
replicate-ignore-db=mysql#不需要同步的库

3.1启动从库复制功能

STOP SLAVE; #停止从复制功能的命令
change master to master_host='127.0.0.1',master_port=3306,master_user='slave',master_password='123',master_log_file='mysql-bin.000004',master_log_pos=717;

说明：对应着改成你们自己的配置，master_host：主库的ip,master_port:主库的端口,master_user:主库给丛库建立的账号名称,master_password:账号密码关于master_log_file 和 Position（'mysql-bin.000005' 98）是主库配置中的"show master status"得到的;

START SLAVE; #启动从复制功能
RESET SLAVE; #重置从复制功能的配置，会清除 master.info 和 relay-log.info 两个文件
show slave status;   (没有分号)，查看

其中Slave_IO_Running和Slave_SQL_Running属性打开，表示开启

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

配置MySQL主从数据库结束

12.参考博客信息

> 主从Mysql数据库同步：https://blog.csdn.net/fengrenyuandefz/article/details/89420201
> 一台电脑装两个MySQL：https://blog.csdn.net/weixin_41953055/article/details/79820221
> server_uuid重复：https://blog.csdn.net/sunbocong/article/details/81634296
> mysql主从同步 binlog-do-db replicate-do-db： https://blog.csdn.net/z69183787/article/details/70183284
> mysql主从数据库同步：https://blog.csdn.net/fengrenyuandefz/article/details/89420201

微信关注我们

原文链接：https://my.oschina.net/u/3204029/blog/4570622

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

封闭的 NVIDIA 收购 Arm，开放的 RISC-V 机会来了？

近日，NVIDIA 斥资 400 亿美元收购 Arm 的消息疯狂刷屏，看来今年挤爆牙膏的老黄确实够豪横。但很快也有业内人士表达了对此次收购案的担忧，认为立场原本相对中立的 ARM 生态一旦落入 NVIDIA 手中，对整个行业带来的影响将是难以估量的。 Arm 创始人反对收购 Arm 公司联合创始人 Hermann Hauser 在接受媒体采访时说：“Arm 是最后一家具有全球影响力的欧洲技术公司，现在就要卖给美国人了。这对剑桥、英国和欧洲来说是一场灾难。” Hauser 认为，将 Arm 公司出售给 NVIDIA，将破坏 ARM 的商业模式根基。一直以来，Arm的商业模式一直保持着开放中立，被外界视为半导体行业的“瑞士”，Arm 以平等的方式将旗下的 ARM 芯片技术授权给 500 多家半导体公司，他们中的大多数是 NVIDIA 的竞争对手。从长远来看，将 Arm 公司出售给 NVIDIA 也意味着 ARM 技术架构将受到美国 CFIUS 法规的约束。英国电子行业有数百家公司在其产品中使用 ARM 技术，相关从业者数以万计。这些公司的许多产品出口到包括中国在内的全球主要市场，那就意味...

2020-09-15

572

前言我们首次接触广度优先搜索和深度优先搜索时，应该是在数据结构课上讲的 “图的遍历”。还有就是刷题的时候，遍历二叉树/拓扑排序我们会经常用到这两种遍历方法。广度优先搜索算法（Breadth-First-Search，缩写为 BFS），是一种利用队列实现的搜索算法。简单来说，其搜索过程和 “湖面丢进一块石头激起层层涟漪” 类似。深度优先搜索算法（Depth-First-Search，缩写为 DFS），是一种利用递归实现的搜索算法。简单来说，其搜索过程和 “不撞南墙不回头” 类似。 BFS 的重点在于队列，而 DFS 的重点在于递归。这是它们的本质区别。 1. 广度优先搜索法广度优先搜索，也叫做广度优先遍历，其主要思想类似于树的层序遍历。从任意一个节点A开始，遍历它的全部的邻接点B,C 然后再以它其中一个邻接点B为起点，遍历B的所有的邻接点D，F。然后再以它另外一个邻接点C为起点，遍历C的所有的邻接点G，H。然后再以它其中一个邻接点D为起点，遍历D的所有的邻接点...。以此类推.... 伪代码如下： //queue：结果集，queue队列 //nodeA：开始节点 publ...

2020-09-15

799

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。