首页 文章 精选 留言 我的

精选列表

搜索[图像理解],共10000篇文章
优秀的个人博客,低调大师

TDMQ RocketMQ 版事务消息原理解析

引言 在分布式架构系统中,确保跨服务应用的数据一致性始终是系统设计的核心挑战之一。TDMQ RocketMQ 版作为一款基于 Apache RocketMQ 构建的企业级消息中间件,凭借其高可用性和高可靠性特点,通过提供完善的事务消息机制,为这一难题提供了专业的解决方案。本文将结合核心源码,深入解析 RocketMQ 事务消息的实现原理,希望能帮助开发者去构建更健壮的分布式事务系统。 事务消息的概念与应用场景 事务消息是 RocketMQ 提供的一种高级特性消息,通过将二阶段提交的动作和本地事务绑定,来保障分布式场景下消息生产和本地事务的最终一致性,相比普通消息,主要是扩展了二次确认和本地事务状态回查补偿的机制。 在电商平台中,积分兑换商品这一常见功能就涉及到分布式事务,用户发起兑换后,可能涉及创建兑换订单、扣除用户积分、通知发货服务、扣减库存等一系列动作,此时就要保证订单服务和多个下游业务执行结果的最终一致性,如果积分扣除成功但订单创建失败,会导致用户积分被扣但未获得商品,如果订单创建成功但积分扣除失败,会导致用户获得商品但未扣除积分。 我们可以采用 TDMQ RocketMQ 版事务消息来实现这一功能,具体分为以下三个阶段: 1、阶段一:发送事务消息(准备核销积分) 用户提交订单并选择使用积分兑换后,订单服务向 RocketMQ 服务端对应的业务 Topic 发送一条事务消息,内容包含 “用户 user-001 发起订单 Order-001 并使用 1000 积分兑换商品 A”。此时,该消息对下游的积分服务和库存服务等均不可见,避免在订单服务事务完成前,积分服务提前扣减积分,确保积分不会被误扣。 2、阶段二:执行本地事务(创建订单) 事务消息发送成功后,订单服务继续执行本地事务,创建订单并预占积分,若本地事务成功,则提交二次确认 Commit 到 RocketMQ 服务端,消息被继续投递到下游,反之,提交 Rollback,事务结束,积分状态保持不变。 3、阶段三:下游服务消费(扣减积分并更新库存) 积分服务和库存服务预先订阅上面的 Topic,接收到消息后,积分服务扣减积分,库存服务更新库存。若消费过程中因网络异常、服务不可用等问题导致失败,RocketMQ 将自动触发重试机制,若多次重试仍未成功,消息将转入死信队列,后续由人工介入核对,通过补偿流程保障积分和库存数据的最终一致性。 通过以上三个阶段,RocketMQ 事务消息机制在积分核销场景中,保障了订单本地事务和消息发送的同时成功/失败,成功实现了分布式事务的最终一致性。类似的,在金融交易、企业多系统数据同步等场景中,RocketMQ 事务消息都能凭借其可靠的机制,保障跨服务操作的最终一致性。那么,RocketMQ 事务消息究竟是如何在底层实现这些复杂操作,确保最终一致性的呢?接下来,我们深入探究其背后的原理。 事务消息实现原理详解 术语说明 在分析 RocketMQ 事务消息的实现原理之前,有必要先了解一下这些概念和术语: 1、半消息 half message: 生产者发送事务消息到 RocketMQ 服务端后,消息会被持久化并标记为“暂不可投递”的状态,直到本地事务执行完成并确认后,消息才会决定是否对消费者可见,此状态下的消息,称为半消息(Half Message)。 2、二阶段提交 实现事务最终一致性的关键机制,一阶段为发送 Half Message,二阶段为生产者执行本地事务,并根据执行结果向 RocketMQ 服务端提交 Commit(允许投递)或 Rollback(丢弃消息)的确认结果,以此来决定 Half Message 的去留。 3、OP 消息: 用于给消息状态打标记,没有对应 OP 消息的 Half Message,就说明二阶段确认状态未知,需要 RocketMQ 服务端进行本地事务状态主动回查,OP 消息的内容为对应的 Half Message 的存储的 Offset。 4、相关 Topic: Real Topic:业务真实 Topic,生产者发消息时指定的 Topic 值。 Half Topic:系统 Topic,Topic名称为 RMQ_SYS_TRANS_HALF_TOPIC,用于存储 Half Message。 OP Topic:系统 Topic,Topic名称为 MQ_SYS_TRANS_OP_HALF_TOPIC,用于存储 OP 消息, Half Message 二次状态确认后,不管是 Commit 还是 Rollback,都会写入一条对应的 OP 消息到这个 Topic。 事务消息处理流程 了解完基本概念,结合上面的业务场景,我们来看 RocketMQ 事务消息的实现流程: 步骤说明: 生产者发送事务消息到 RocketMQ 服务端。 服务端存储这条消息后返回发送成功的响应,此时消息对下游消费者不可见,处于Half Message 状态。 生产者收到半消息成功的响应后,继续往下执行本地事务(如更新业务数据库)。 根据本地事务的执行结果,生产者会向 RocketMQ 服务端提交最终状态,也就是二次确认。 确认结果为 Commit 时,服务端会将事务消息继续向下投递给消费者,确认结果为 Rollback 时,服务端将会丢弃该消息,不再向下投递。 确认结果是 Unknown 或一直没有收到确认结果时,一定时间后,将会触发事务状态主动回查。 当生产者未提交最终状态或者二次确认的结果为 Unknown 时,RocketMQ 服务端将会主动发起事务结果查询请求到生产者服务。 生产者收到请求后提交二次确认结果,逻辑再次回到第5步,此时如果生产者服务暂时不可用,则 RocketMQ 服务端会在指定时间间隔后,继续主动发起回查请求,直到超过最大回查次数后,回滚消息。 如此,不管本地事务是否执行成功,都能实现事务状态的最终一致性。以上步骤,可用时序图直观体现为: 半消息的具体实现 了解了事务消息基本的实现流程后,你可能会有疑问,半消息为什么对消费者不可见?二次确认 Commit 或者 Rollback 后,服务端如何投递或者删除半消息?前面提到,Half Message 在服务端做了持久化,但在消费端却不可见,实现这一效果的方式,就是 Topic 替换:首先将事务消息的 Real Topic 和队列信息作为属性暂存起来,以便后续二阶段提交结果为 Commit 时,能正确地投递到下游消费者,然后将消息的 Topic 改为系统 Topic RMQ_SYS_TRANS_HALF_TOPIC,队列 ID 改为0,用户的消费者正常不会订阅这个系统 Topic,自然也就不能看到 Half Message。 Half Message 被成功投递到上面的系统 Topic 后,开始执行本地事务,如果生产者提交的本地事务二次确认结果为 Commit,则在消息属性中获取消息的 Real Topic、队列等信息,设置 Topic = Real Topic后,再投递下游,最后删除 Half Message(逻辑删除),如果二次确认结果为 Rollback,则只需要逻辑删除对应的 Half Message 即可。这里逻辑删除的实现,就是前面提到的 OP Topic,OP 队列中的消息,记录了 Half Message 对应的二次确认状态,根据这个状态,RocketMQ 服务端会进行第二个核心机制:事务状态主动回查。 事务回查的具体实现 Half Message 写入后,可能会因为种种原因,导致 RocketMQ 服务端一直收不到二次确认结果,比如网络异常、生产者服务暂时不可用、本地事务死锁导致执行时间超长等,此时,就需要 RocketMQ 服务端主动去询问生产者服务本地事务是否执行成功,以决定 Half Message 的最终去留。 RocketMQ 服务端会启动事务检查定时任务,默认每60秒执行一次,最大回查15次,可通过 TransactionCheckInterval 和 TransactionCheckMax 这两项配置按业务实际情况进行定制化调整。回查时,会对比 Half 队列和 OP 队列的偏移量,若发现 Half 消息未在 OP 队列中有对应的记录且 Half Message 的留存时间超过了事务超时时间(前面分析过,Half Message 是否被二次确认过,是根据 OP 队列来判断的),则触发主动回查动作,向生产者服务发起事务状态检查请求,如此,就解决了部分事务消息状态悬而未决的问题,实现了本地事务和消息发送之间的最终一致性。 事务消息核心源码解析 分析完具体的实现原理,接下来我们对照 Half Message 发送、二次确认提交、事务主动回查这三个关键部分的源码实现,来具体看看以上理论在代码中的体现: 发送事务消息 首先看看事务消息的发送的具体实现,核心代码为org.apache.rocketmq.client.impl.producer.DefaultMQProducerImpl 下的sendMessageInTransaction 方法: public TransactionSendResult sendMessageInTransaction(Message msg, LocalTransactionExecuter localTransactionExecuter, Object arg) throws MQClientException { // 检查事务监听器对象是否为空,后续本地事务的执行和回查都依靠它 TransactionListener transactionListener = this.getCheckListener(); if (null == localTransactionExecuter && null == transactionListener) { throw new MQClientException("tranExecutor is null", (Throwable)null); } else { if (msg.getDelayTimeLevel() != 0) { // 延迟消息属性在这里不生效 MessageAccessor.clearProperty(msg, "DELAY"); } // 消息内容必要性检查 Validators.checkMessage(msg, this.defaultMQProducer); SendResult sendResult = null; // 添加事务消息相关属性 MessageAccessor.putProperty(msg, "TRAN_MSG", "true"); MessageAccessor.putProperty(msg, "PGROUP", this.defaultMQProducer.getProducerGroup()); try { // 开始发送消息 sendResult = this.send(msg); } catch (Exception var11) { Exception e = var11; throw new MQClientException("send message Exception", e); } LocalTransactionState localTransactionState = LocalTransactionState.UNKNOW; Throwable localException = null; // 如果消息发送成功,则继续处理本地事务 switch (sendResult.getSendStatus()) { case SEND_OK: try { if (sendResult.getTransactionId() != null) { msg.putUserProperty("__transactionId__", sendResult.getTransactionId()); } String transactionId = msg.getProperty("UNIQ_KEY"); if (null != transactionId && !"".equals(transactionId)) { msg.setTransactionId(transactionId); } if (null != localTransactionExecuter) { // 开始执行本地事务,并得到一个本地事务状态的结果 localTransactionState = localTransactionExecuter.executeLocalTransactionBranch(msg, arg); } else if (transactionListener != null) { this.log.debug("Used new transaction API"); localTransactionState = transactionListener.executeLocalTransaction(msg, arg); } if (null == localTransactionState) { localTransactionState = LocalTransactionState.UNKNOW; } if (localTransactionState != LocalTransactionState.COMMIT_MESSAGE) { this.log.info("executeLocalTransactionBranch return {}", localTransactionState); this.log.info(msg.toString()); } } catch (Throwable var10) { Throwable e = var10; this.log.info("executeLocalTransactionBranch exception", e); this.log.info(msg.toString()); localException = e; } break; case FLUSH_DISK_TIMEOUT: case FLUSH_SLAVE_TIMEOUT: case SLAVE_NOT_AVAILABLE: // 消息发送都未成功,则本地事务状态直接为rollback localTransactionState = LocalTransactionState.ROLLBACK_MESSAGE; } try { // 根据本地事务状态结果,进行下一步,决定half message是继续投递还是删除 this.endTransaction(msg, sendResult, localTransactionState, localException); } catch (Exception var9) { Exception e = var9; this.log.warn("local transaction execute " + localTransactionState + ", but end broker transaction failed", e); } TransactionSendResult transactionSendResult = new TransactionSendResult(); transactionSendResult.setSendStatus(sendResult.getSendStatus()); transactionSendResult.setMessageQueue(sendResult.getMessageQueue()); transactionSendResult.setMsgId(sendResult.getMsgId()); transactionSendResult.setQueueOffset(sendResult.getQueueOffset()); transactionSendResult.setTransactionId(sendResult.getTransactionId()); transactionSendResult.setLocalTransactionState(localTransactionState); // 返回消息发送的结果 return transactionSendResult; } } 对照以上源码,可以看到,生产者方法发送消息后,首先会对事务监听器做非空校验,因为后面本地事务的执行以及事务状态的主动回查,都需要依赖它来完成,接下来的主要逻辑有四点: 给原始消息加一个 TRAN_MSG=true 的属性,这是后面判定一条消息为事务消息的条件。 同步发送 Half Message,若发送失败,则不再执行本地事务,保证了“同失败”的事务一致性。 若发送成功,则开始执行我们设置的本地事务,并根据执行结果修改本地事务状态值。 根据事务状态值,来 endTransaction 做收尾工作,这里包含了下面我们要说的事务回查和 Half Message 的删除。 二次确认提交 Half Message 发送成功后,开始执行本地事务,并根据执行结果,提交二次确认结果Commit/Rollback 到 RocketMQ 服务端。 /** * @param msg: 原始消息对象 * @param sendResult: 消息发送结果(包含事务ID、消息ID等) * @param localTransactionState: 本地事务执行状态(COMMIT/ROLLBACK/UNKNOWN) * @param localException: 本地事务执行异常 */ public void endTransaction( final Message msg, final SendResult sendResult, final LocalTransactionState localTransactionState, final Throwable localException) throws RemotingException, MQBrokerException, InterruptedException, UnknownHostException { final MessageId id; // 优先使用offsetMsgId解析消息ID,获取偏移量 if (sendResult.getOffsetMsgId() != null) { id = MessageDecoder.decodeMessageId(sendResult.getOffsetMsgId()); } else { id = MessageDecoder.decodeMessageId(sendResult.getMsgId()); } // 事务ID String transactionId = sendResult.getTransactionId(); final String brokerAddr = this.mQClientFactory.findBrokerAddressInPublish(sendResult.getMessageQueue().getBrokerName()); // 构建二次确认的请求头 EndTransactionRequestHeader requestHeader = new EndTransactionRequestHeader(); requestHeader.setTransactionId(transactionId); requestHeader.setCommitLogOffset(id.getOffset()); requestHeader.setBname(sendResult.getMessageQueue().getBrokerName()); // 不同的本地事务执行结果,设置不同的请求头 switch (localTransactionState) { case COMMIT_MESSAGE: requestHeader.setCommitOrRollback(MessageSysFlag.TRANSACTION_COMMIT_TYPE); break; case ROLLBACK_MESSAGE: requestHeader.setCommitOrRollback(MessageSysFlag.TRANSACTION_ROLLBACK_TYPE); break; case UNKNOW: requestHeader.setCommitOrRollback(MessageSysFlag.TRANSACTION_NOT_TYPE); break; default: break; } // 执行事务结束钩子,设置一些必要的上下文信息 doExecuteEndTransactionHook(msg, sendResult.getMsgId(), brokerAddr, localTransactionState, false); requestHeader.setProducerGroup(this.defaultMQProducer.getProducerGroup()); requestHeader.setTranStateTableOffset(sendResult.getQueueOffset()); requestHeader.setMsgId(sendResult.getMsgId()); String remark = localException != null ? ("executeLocalTransactionBranch exception: " + localException.toString()) : null; // 发送请求,请求Command为END_TRANSACTION this.mQClientFactory.getMQClientAPIImpl().endTransactionOneway(brokerAddr, requestHeader, remark, this.defaultMQProducer.getSendMsgTimeout()); } 从上面源码可以看出:本地事务执行结束后,事务收尾的工作内容主要包括: 解析消息 ID,获取 Offset。 根据本地事务执行结果,构建不同的请求头。 发送请求到 RocketMQ 服务端。 二次确认消息发送到 RocketMQ 服务端后,由核心类 EndTransactionProcessor 的 processRequest 方法来处理 Commit 或者 Rollback 消息,考虑到篇幅问题,这里只分析逻辑删除 Half Message 的部分: // 二次确认结果是commit if (MessageSysFlag.TRANSACTION_COMMIT_TYPE == requestHeader.getCommitOrRollback()) { // 从RMQ_SYS_TRANS_HALF_TOPIC(Half消息队列)查询待提交的消息,验证消息的有效性 result = this.brokerController.getTransactionalMessageService().commitMessage(requestHeader); if (result.getResponseCode() == ResponseCode.SUCCESS) { // 二次确认,判读事务ID一直想、消息存储时间有效性等 RemotingCommand res = checkPrepareMessage(result.getPrepareMessage(), requestHeader); if (res.getCode() == ResponseCode.SUCCESS) { // 核心逻辑msgInner.setTopic(msgExt.getUserProperty(MessageConst.PROPERTY_REAL_TOPIC)); // 即从属性中恢复消息一开始的真实topic MessageExtBrokerInner msgInner = endMessageTransaction(result.getPrepareMessage()); msgInner.setSysFlag(MessageSysFlag.resetTransactionValue(msgInner.getSysFlag(), requestHeader.getCommitOrRollback())); msgInner.setQueueOffset(requestHeader.getTranStateTableOffset()); msgInner.setPreparedTransactionOffset(requestHeader.getCommitLogOffset()); msgInner.setStoreTimestamp(result.getPrepareMessage().getStoreTimestamp()); // 清理掉事务消息的标志性属性TRAN_MSG == true,下面要将消息做为普通消息向下投递 MessageAccessor.clearProperty(msgInner, MessageConst.PROPERTY_TRANSACTION_PREPARED); // 投递消息到real topic RemotingCommand sendResult = sendFinalMessage(msgInner); if (sendResult.getCode() == ResponseCode.SUCCESS) { // 删除half message,本质是向op topic写入一条消息,标识这个half message已经确认过了 this.brokerController.getTransactionalMessageService().deletePrepareMessage(result.getPrepareMessage()); } return sendResult; } return res; } // 二次确认结果为rollback } else if (MessageSysFlag.TRANSACTION_ROLLBACK_TYPE == requestHeader.getCommitOrRollback()) { result = this.brokerController.getTransactionalMessageService().rollbackMessage(requestHeader); if (result.getResponseCode() == ResponseCode.SUCCESS) { // 同上,必要性检查 RemotingCommand res = checkPrepareMessage(result.getPrepareMessage(), requestHeader); if (res.getCode() == ResponseCode.SUCCESS) { // 既然是需要回滚,那就只需要删除对应的half message,同样是向op topic 写入一条消息 this.brokerController.getTransactionalMessageService().deletePrepareMessage(result.getPrepareMessage()); } return res; } } // Delete prepare message when this message has been committed or rolled back. @Override public boolean deletePrepareMessage(MessageExt msgExt) { // 向op topic 写入一条消息,消息内容是给对应的half message打了一个remove标记 if (this.transactionalMessageBridge.putOpMessage(msgExt, TransactionalMessageUtil.REMOVETAG)) { log.debug("Transaction op message write successfully. messageId={}, queueId={} msgExt:{}", msgExt.getMsgId(), msgExt.getQueueId(), msgExt); return true; } else { log.error("Transaction op message write failed. messageId is {}, queueId is {}", msgExt.getMsgId(), msgExt.getQueueId()); return false; } } 可以看到,不管生产者提交的二次确认结果是 Commit 还是 Rollback,都会执行 deletePrepareMessage 方法,向 OP 队列写入消息,标识这条 Half Message 已经被处理过了,而并不是把这条消息物理删除掉。和 Rollback 不同的是,Commit 时,需要先获取并设置消息的 Real Topic 和 Real QueueId(这个在第一步发送 Half Message 时已经记录在了消息属性中),然后向下投递,此时,消息对下游消费者可见。 事务状态回查 对于始终没有收到二次确认的消息,RocketMQ 服务端会主动发起事务回查,对于事务超时未确认的核心逻辑在org.apache.rocketmq.broker.transaction.queue.TransactionalMessageServiceImpl 的Check 方法,Check 方法被前面提到的定时任务每隔60秒调用一次,回查时,首先从 Half Topic 下的所有队列开始: String topic = TopicValidator.RMQ_SYS_TRANS_HALF_TOPIC; // 获取存储half message的topic下的所有队列 Set<MessageQueue> msgQueues = transactionalMessageBridge.fetchMessageQueues(topic); if (msgQueues == null || msgQueues.size() == 0) { // 没有half message则直接退出 log.warn("The queue of topic is empty :" + topic); return; } log.debug("Check topic={}, queues={}", topic, msgQueues); 然后遍历每个队列,和 op topic 下的数据做对比: // 获取对应的Op队列(RMQ_SYS_TRANS_OP_HALF_TOPIC) MessageQueue opQueue = getOpQueue(messageQueue); // Half队列消费位点 long halfOffset = transactionalMessageBridge.fetchConsumeOffset(messageQueue); // Op队列消费位点 long opOffset = transactionalMessageBridge.fetchConsumeOffset(opQueue); 如果 OP Topic 中有 Half Message 的相关记录,就不再回查,否则,判读消息是否需要被跳过回查(消息超过最大检查次数、超过了消息最大保留时间、刚写入的消息),并且对于超出最大检查次数的消息,丢弃操作其实是将消息转移到 TRANS_CHECK_MAX_TIME_TOPIC 这个系统 Topic。 // Half消息已处理过了(存在对应的Op记录) if (removeMap.containsKey(i)) { log.debug("Half offset {} has been committed/rolled back", i); Long removedOpOffset = removeMap.remove(i); doneOpOffset.add(removedOpOffset); } else { // Half消息未被二次确认,根据偏移量查询对应的消息 GetResult getResult = getHalfMsg(messageQueue, i); MessageExt msgExt = getResult.getMsg(); // 消息还存在,判断是否需要丢弃或者跳过,丢弃是满足检查次数超出了最大检查次数,跳过则是满足消息留存时长超过了最大保留时间 if (needDiscard(msgExt, transactionCheckMax) || needSkip(msgExt)) { // 执行丢弃逻辑,发往TRANS_CHECK_MAXTIME_TOPIC这个系统Topic listener.resolveDiscardMsg(msgExt); newOffset = i + 1; i++; continue; } // 消息是刚写入不久的,先跳过,一会儿再检查 if (msgExt.getStoreTimestamp() >= startTime) { log.debug("Fresh stored. the miss offset={}, check it later, store={}", i, new Date(msgExt.getStoreTimestamp())); break; } 直到判断出 Half Message 没有对应的 OP 记录,并且消息留存时长超过了事务超时时间,开始组装发送回查请求到生产者端。 // 获取Op消息,查看消息二次确认的标识 List<MessageExt> opMsg = pullResult.getMsgFoundList(); // 没有对应的Op消息,且留存时常超过了事务超时时间,触发回查逻辑 boolean isNeedCheck = (opMsg == null && valueOfCurrentMinusBorn > checkImmunityTime) || (opMsg != null && (opMsg.get(opMsg.size() - 1).getBornTimestamp() - startTime > transactionTimeout)) || (valueOfCurrentMinusBorn <= -1); if (isNeedCheck) { // 重新保存half message,避免写放大 if (!putBackHalfMsgQueue(msgExt, i)) { continue; } // 调用sendCheckMessage方法,里面在组装和发送回查请求 listener.resolveHalfMsg(msgExt); } 事务消息实践指南 使用示例 这里以 TDMQ 版 RocketMQ 5.x 版本集群为例,演示事务消息的使用方式和效果。 1、首先登录腾讯云控制台,新建一个消息类型为事务消息的 Topic。 2、以 Java 语言为例,引入 5.x 对应版本的依赖。 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-client-java</artifactId> <version>5.0.6</version> </dependency> 3、启动生产者。 public class ProducerTransactionMessageDemo { private static final Logger log = LoggerFactory.getLogger(ProducerTransactionMessageDemo.class); private static boolean executeLocalTransaction() { // 模拟本地事务(如数据库插入操作),这里假设执行成功 return true; } private static boolean checkTransactionStatus(String orderId) { // 模拟查询本地事务执行结果,如查询订单ID是否已入库,查到则return true return true; } public static void main(String[] args) throws ClientException { final ClientServiceProvider provider = ClientServiceProvider.loadService(); // 在控制台权限管理页面获取ak和sk String accessKey = "your-ak"; String secretKey = "your-sk"; SessionCredentialsProvider sessionCredentialsProvider = new StaticSessionCredentialsProvider(accessKey, secretKey); // 在控制台获取并填写腾讯云提供的接入地址 String endpoints = "https://your-endpoints"; ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder() .setEndpoints(endpoints) .enableSsl(false) .setCredentialProvider(sessionCredentialsProvider) .build(); String topic = "tran_topic"; TransactionChecker checker = messageView -> { log.info("Receive transactional result check request, message={}", messageView); // 服务端主动回查本地事务状态 String orderId = messageView.getProperties().get("orderId"); boolean isSuccess = checkTransactionStatus(orderId); return isSuccess ? TransactionResolution.COMMIT : TransactionResolution.ROLLBACK; }; // 创建生产着并设置回查的checker对象 Producer producer = provider.newProducerBuilder() .setClientConfiguration(clientConfiguration) .setTopics(topic) .setTransactionChecker(checker) .build(); // 开启事务 final Transaction transaction = producer.beginTransaction(); byte[] body = "This is a transaction message for Apache RocketMQ".getBytes(StandardCharsets.UTF_8); String tag = "tagA"; final Message message = provider.newMessageBuilder() .setTopic(topic) .setTag(tag) .setKeys("your-key-565ef26f5727") //一般事务消息都会设置一个本地事务关联的唯一ID,用来做本地事务回查的校验 .addProperty("orderId", "0001") .setBody(body) .build(); // 发送半消息 try { final SendReceipt sendReceipt = producer.send(message, transaction); log.info("Send transaction message successfully, messageId={}", sendReceipt.getMessageId()); } catch (Throwable t) { log.error("Failed to send message", t); return; } // 执行本地事务 boolean localTxSuccess = executeLocalTransaction(); if (localTxSuccess) { // 本地事务执行成功,二次确认为Commit transaction.commit(); } else { // 本地事务执行失败,二次确认为Rollback transaction.rollback(); } // producer.close(); } } 4、运行代码后,在控制台的消息查询页面,可以看到已经有一条投递完成等待消费的消息。 5、启动消费者,订阅这个 Topic,成功消费消息后,在腾讯云控制台查看消息轨迹: 6、修改代码,假设本地事务执行失败,使处于 Half Message 状态的事务消息回滚。 private static boolean executeLocalTransaction() { // 本地事务执行失败 return false; } private static boolean checkTransactionStatus(String orderId) { // 回查结果自然也是rollback,返回false return false; } 7、此时,可以发现消息发送成功了,但在控制台的消息消息查询页面是不可见的,启动消费者也不能消费到这条消息。 注意事项 使用事务消息过程中,需注意以下几点: Topic 类型必须为事务 TRANSACTION,否则生产消息会报错,关键错误信息:current message type not match with topic accept message types。 事务消息不支持延迟,若设置了延迟属性,在发送消息前会被清除延迟属性。 如果本地事务执行较慢,此时服务端进行事务回查时,应返回 Unknown,且如果确认本地事务执行耗时会很长,应修改第一次事务回查的时间,以避免产生大量结果未知的事务。 总结 本文从理论与源码双视角剖析了 TDMQ RocketMQ 版事务消息的三大核心流程——半消息的发送存储、二阶段提交及事务状态回查的实现机制。在实际生产中,建议开发者通过幂等设计规避重复消费,合理设置事务超时时间,并关注 Topic 类型限制等约束条件,以充分发挥事务消息在分布式场景中的价值。

优秀的个人博客,低调大师

一文带你理解透MyBatis源码

本文分享自华为云社区《一文彻底吃透MyBatis源码!!》,作者:冰 河。 写在前面 随着互联网的发展,越来越多的公司摒弃了Hibernate,而选择拥抱了MyBatis。而且,很多大厂在面试的时候喜欢问MyBatis底层的原理和源码实现。总之,MyBatis几乎成为了Java开发人员必须深入掌握的框架技术,今天,我们就一起来深入分析MyBatis源码。文章有点长,建议先收藏后慢慢研究。整体三万字左右,全程高能,小伙伴们可慢慢研究。 MyBatis源码解析 大家应该都知道Mybatis源码也是对Jbdc的再一次封装,不管怎么进行包装,还是会有获取链接、preparedStatement、封装参数、执行这些步骤的。 配置解析过程 String resource = "mybatis-config.xml"; //1.读取resources下面的mybatis-config.xml文件 InputStream inputStream = Resources.getResourceAsStream(resource); //2.使用SqlSessionFactoryBuilder创建SqlSessionFactory SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); //3.通过sqlSessionFactory创建SqlSession SqlSession sqlSession = sqlSessionFactory.openSession(); Resources.getResourceAsStream(resource)读取文件 public static InputStream getResourceAsStream(String resource) throws IOException { return getResourceAsStream(null, resource); } //loader赋值为null public static InputStream getResourceAsStream(ClassLoader loader, String resource) throws IOException { InputStream in = classLoaderWrapper.getResourceAsStream(resource, loader); if (in == null) { throw new IOException("Could not find resource " + resource); } return in; } //classLoader为null public InputStream getResourceAsStream(String resource, ClassLoader classLoader) { return getResourceAsStream(resource, getClassLoaders(classLoader)); } //classLoader类加载 InputStream getResourceAsStream(String resource, ClassLoader[] classLoader) { for (ClassLoader cl : classLoader) { if (null != cl) { //加载指定路径文件流 InputStream returnValue = cl.getResourceAsStream(resource); // now, some class loaders want this leading "/", so we'll add it and try again if we didn't find the resource if (null == returnValue) { returnValue = cl.getResourceAsStream("/" + resource); } if (null != returnValue) { return returnValue; } } } return null; } 总结:主要是通过ClassLoader.getResourceAsStream()方法获取指定的classpath路径下的Resource 。 通过SqlSessionFactoryBuilder创建SqlSessionFactory //SqlSessionFactoryBuilder是一个建造者模式 SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); public SqlSessionFactory build(InputStream inputStream) { return build(inputStream, null, null); } //XMLConfigBuilder也是建造者模式 public SqlSessionFactory build(InputStream inputStream, String environment, Properties properties) { try { XMLConfigBuilder parser = new XMLConfigBuilder(inputStream, environment, properties); return build(parser.parse()); } catch (Exception e) { throw ExceptionFactory.wrapException("Error building SqlSession.", e); } finally { ErrorContext.instance().reset(); try { inputStream.close(); } catch (IOException e) { // Intentionally ignore. Prefer previous error. } } } //接下来进入XMLConfigBuilder构造函数 public XMLConfigBuilder(InputStream inputStream, String environment, Properties props) { this(new XPathParser(inputStream, true, props, new XMLMapperEntityResolver()), environment, props); } //接下来进入this后,初始化Configuration private XMLConfigBuilder(XPathParser parser, String environment, Properties props) { super(new Configuration()); ErrorContext.instance().resource("SQL Mapper Configuration"); this.configuration.setVariables(props); this.parsed = false; this.environment = environment; this.parser = parser; } //其中parser.parse()负责解析xml,build(configuration)创建SqlSessionFactory return build(parser.parse()); parser.parse()解析xml public Configuration parse() { //判断是否重复解析 if (parsed) { throw new BuilderException("Each XMLConfigBuilder can only be used once."); } parsed = true; //读取配置文件一级节点configuration parseConfiguration(parser.evalNode("/configuration")); return configuration; } private void parseConfiguration(XNode root) { try { //properties 标签,用来配置参数信息,比如最常见的数据库连接信息 propertiesElement(root.evalNode("properties")); Properties settings = settingsAsProperties(root.evalNode("settings")); loadCustomVfs(settings); loadCustomLogImpl(settings); //实体别名两种方式:1.指定单个实体;2.指定包 typeAliasesElement(root.evalNode("typeAliases")); //插件 pluginElement(root.evalNode("plugins")); //用来创建对象(数据库数据映射成java对象时) objectFactoryElement(root.evalNode("objectFactory")); objectWrapperFactoryElement(root.evalNode("objectWrapperFactory")); reflectorFactoryElement(root.evalNode("reflectorFactory")); settingsElement(settings); // read it after objectFactory and objectWrapperFactory issue #631 //数据库环境 environmentsElement(root.evalNode("environments")); databaseIdProviderElement(root.evalNode("databaseIdProvider")); //数据库类型和Java数据类型的转换 typeHandlerElement(root.evalNode("typeHandlers")); //这个是对数据库增删改查的解析 mapperElement(root.evalNode("mappers")); } catch (Exception e) { throw new BuilderException("Error parsing SQL Mapper Configuration. Cause: " + e, e); } } 总结:parseConfiguration完成的是解析configuration下的标签 private void mapperElement(XNode parent) throws Exception { if (parent != null) { for (XNode child : parent.getChildren()) { //解析<package name=""/> if ("package".equals(child.getName())) { String mapperPackage = child.getStringAttribute("name"); //包路径存到mapperRegistry中 configuration.addMappers(mapperPackage); } else { //解析<mapper url="" class="" resource=""></mapper> String resource = child.getStringAttribute("resource"); String url = child.getStringAttribute("url"); String mapperClass = child.getStringAttribute("class"); if (resource != null && url == null && mapperClass == null) { ErrorContext.instance().resource(resource); //读取Mapper.xml文件 InputStream inputStream = Resources.getResourceAsStream(resource); XMLMapperBuilder mapperParser = new XMLMapperBuilder(inputStream, configuration, resource, configuration.getSqlFragments()); mapperParser.parse(); } else if (resource == null && url != null && mapperClass == null) { ErrorContext.instance().resource(url); InputStream inputStream = Resources.getUrlAsStream(url); XMLMapperBuilder mapperParser = new XMLMapperBuilder(inputStream, configuration, url, configuration.getSqlFragments()); mapperParser.parse(); } else if (resource == null && url == null && mapperClass != null) { Class<?> mapperInterface = Resources.classForName(mapperClass); configuration.addMapper(mapperInterface); } else { throw new BuilderException("A mapper element may only specify a url, resource or class, but not more than one."); } } } } } 总结: 通过解析configuration.xml文件,获取其中的Environment、Setting,重要的是将下的所有解析出来之后添加到 Configuration,Configuration类似于配置中心,所有的配置信息都在这里。 mapperParser.parse()对 Mapper 映射器的解析 public void parse() { if (!configuration.isResourceLoaded(resource)) { //解析所有的子标签 configurationElement(parser.evalNode("/mapper")); configuration.addLoadedResource(resource); //把namespace(接口类型)和工厂类绑定起来 bindMapperForNamespace(); } parsePendingResultMaps(); parsePendingCacheRefs(); parsePendingStatements(); } //这里面解析的是Mapper.xml的标签 private void configurationElement(XNode context) { try { String namespace = context.getStringAttribute("namespace"); if (namespace == null ** namespace.equals("")) { throw new BuilderException("Mapper's namespace cannot be empty"); } builderAssistant.setCurrentNamespace(namespace); //对其他命名空间缓存配置的引用 cacheRefElement(context.evalNode("cache-ref")); //对给定命名空间的缓存配置 cacheElement(context.evalNode("cache")); parameterMapElement(context.evalNodes("/mapper/parameterMap")); //是最复杂也是最强大的元素,用来描述如何从数据库结果集中来加载对象 resultMapElements(context.evalNodes("/mapper/resultMap")); //可被其他语句引用的可重用语句块 sqlElement(context.evalNodes("/mapper/sql")); //获得MappedStatement对象(增删改查标签) buildStatementFromContext(context.evalNodes("select*insert*update*delete")); } catch (Exception e) { throw new BuilderException("Error parsing Mapper XML. The XML location is '" + resource + "'. Cause: " + e, e); } } //获得MappedStatement对象(增删改查标签) private void buildStatementFromContext(List<XNode> list) { if (configuration.getDatabaseId() != null) { buildStatementFromContext(list, configuration.getDatabaseId()); } buildStatementFromContext(list, null); } //获得MappedStatement对象(增删改查标签) private void buildStatementFromContext(List<XNode> list, String requiredDatabaseId) { //循环增删改查标签 for (XNode context : list) { final XMLStatementBuilder statementParser = new XMLStatementBuilder(configuration, builderAssistant, context, requiredDatabaseId); try { //解析insert/update/select/del中的标签 statementParser.parseStatementNode(); } catch (IncompleteElementException e) { configuration.addIncompleteStatement(statementParser); } } } public void parseStatementNode() { //在命名空间中唯一的标识符,可以被用来引用这条语句 String id = context.getStringAttribute("id"); //数据库厂商标识 String databaseId = context.getStringAttribute("databaseId"); if (!databaseIdMatchesCurrent(id, databaseId, this.requiredDatabaseId)) { return; } String nodeName = context.getNode().getNodeName(); SqlCommandType sqlCommandType = SqlCommandType.valueOf(nodeName.toUpperCase(Locale.ENGLISH)); boolean isSelect = sqlCommandType == SqlCommandType.SELECT; //flushCache和useCache都和二级缓存有关 //将其设置为true后,只要语句被调用,都会导致本地缓存和二级缓存被清空,默认值:false boolean flushCache = context.getBooleanAttribute("flushCache", !isSelect); //将其设置为 true 后,将会导致本条语句的结果被二级缓存缓存起来,默认值:对 select 元素为 true boolean useCache = context.getBooleanAttribute("useCache", isSelect); boolean resultOrdered = context.getBooleanAttribute("resultOrdered", false); // Include Fragments before parsing XMLIncludeTransformer includeParser = new XMLIncludeTransformer(configuration, builderAssistant); includeParser.applyIncludes(context.getNode()); //会传入这条语句的参数类的完全限定名或别名 String parameterType = context.getStringAttribute("parameterType"); Class<?> parameterTypeClass = resolveClass(parameterType); String lang = context.getStringAttribute("lang"); LanguageDriver langDriver = getLanguageDriver(lang); // Parse selectKey after includes and remove them. processSelectKeyNodes(id, parameterTypeClass, langDriver); // Parse the SQL (pre: <selectKey> and <include> were parsed and removed) KeyGenerator keyGenerator; String keyStatementId = id + SelectKeyGenerator.SELECT_KEY_SUFFIX; keyStatementId = builderAssistant.applyCurrentNamespace(keyStatementId, true); if (configuration.hasKeyGenerator(keyStatementId)) { keyGenerator = configuration.getKeyGenerator(keyStatementId); } else { keyGenerator = context.getBooleanAttribute("useGeneratedKeys", configuration.isUseGeneratedKeys() && SqlCommandType.INSERT.equals(sqlCommandType)) ? Jdbc3KeyGenerator.INSTANCE : NoKeyGenerator.INSTANCE; } SqlSource sqlSource = langDriver.createSqlSource(configuration, context, parameterTypeClass); StatementType statementType = StatementType.valueOf(context.getStringAttribute("statementType", StatementType.PREPARED.toString())); Integer fetchSize = context.getIntAttribute("fetchSize"); Integer timeout = context.getIntAttribute("timeout"); String parameterMap = context.getStringAttribute("parameterMap"); //从这条语句中返回的期望类型的类的完全限定名或别名 String resultType = context.getStringAttribute("resultType"); Class<?> resultTypeClass = resolveClass(resultType); //外部resultMap的命名引用 String resultMap = context.getStringAttribute("resultMap"); String resultSetType = context.getStringAttribute("resultSetType"); ResultSetType resultSetTypeEnum = resolveResultSetType(resultSetType); String keyProperty = context.getStringAttribute("keyProperty"); String keyColumn = context.getStringAttribute("keyColumn"); String resultSets = context.getStringAttribute("resultSets"); builderAssistant.addMappedStatement(id, sqlSource, statementType, sqlCommandType, fetchSize, timeout, parameterMap, parameterTypeClass, resultMap, resultTypeClass, resultSetTypeEnum, flushCache, useCache, resultOrdered, keyGenerator, keyProperty, keyColumn, databaseId, langDriver, resultSets); } public MappedStatement addMappedStatement( String id, SqlSource sqlSource, StatementType statementType, SqlCommandType sqlCommandType, Integer fetchSize, Integer timeout, String parameterMap, Class<?> parameterType, String resultMap, Class<?> resultType, ResultSetType resultSetType, boolean flushCache, boolean useCache, boolean resultOrdered, KeyGenerator keyGenerator, String keyProperty, String keyColumn, String databaseId, LanguageDriver lang, String resultSets) { if (unresolvedCacheRef) { throw new IncompleteElementException("Cache-ref not yet resolved"); } id = applyCurrentNamespace(id, false); boolean isSelect = sqlCommandType == SqlCommandType.SELECT; MappedStatement.Builder statementBuilder = new MappedStatement.Builder(configuration, id, sqlSource, sqlCommandType) .resource(resource) .fetchSize(fetchSize) .timeout(timeout) .statementType(statementType) .keyGenerator(keyGenerator) .keyProperty(keyProperty) .keyColumn(keyColumn) .databaseId(databaseId) .lang(lang) .resultOrdered(resultOrdered) .resultSets(resultSets) .resultMaps(getStatementResultMaps(resultMap, resultType, id)) .resultSetType(resultSetType) .flushCacheRequired(valueOrDefault(flushCache, !isSelect)) .useCache(valueOrDefault(useCache, isSelect)) .cache(currentCache); ParameterMap statementParameterMap = getStatementParameterMap(parameterMap, parameterType, id); if (statementParameterMap != null) { statementBuilder.parameterMap(statementParameterMap); } MappedStatement statement = statementBuilder.build(); //持有在configuration中 configuration.addMappedStatement(statement); return statement; } public void addMappedStatement(MappedStatement ms){ //ms.getId = mapper.UserMapper.getUserById //ms = MappedStatement等于每一个增删改查的标签的里的数据 mappedStatements.put(ms.getId(), ms); } //最终存放到mappedStatements中,mappedStatements存放的是一个个的增删改查 protected final Map<String, MappedStatement> mappedStatements = new StrictMap<MappedStatement>("Mapped Statements collection").conflictMessageProducer((savedValue, targetValue) -> ". please check " + savedValue.getResource() + " and " + targetValue.getResource()); 解析bindMapperForNamespace()方法 把 namespace(接口类型)和工厂类绑定起来 private void bindMapperForNamespace() { //当前Mapper的命名空间 String namespace = builderAssistant.getCurrentNamespace(); if (namespace != null) { Class<?> boundType = null; try { //interface mapper.UserMapper这种 boundType = Resources.classForName(namespace); } catch (ClassNotFoundException e) { } if (boundType != null) { if (!configuration.hasMapper(boundType)) { configuration.addLoadedResource("namespace:" + namespace); configuration.addMapper(boundType); } } } } public <T> void addMapper(Class<T> type) { mapperRegistry.addMapper(type); } public <T> void addMapper(Class<T> type) { if (type.isInterface()) { if (hasMapper(type)) { throw new BindingException("Type " + type + " is already known to the MapperRegistry."); } boolean loadCompleted = false; try { //接口类型(key)->工厂类 knownMappers.put(type, new MapperProxyFactory<>(type)); MapperAnnotationBuilder parser = new MapperAnnotationBuilder(config, type); parser.parse(); loadCompleted = true; } finally { if (!loadCompleted) { knownMappers.remove(type); } } } } 生成SqlSessionFactory对象 XMLMapperBuilder.parse()方法,是对 Mapper 映射器的解析里面有两个方法: (1)configurationElement()解析所有的子标签,最终解析Mapper.xml中的insert/update/delete/select标签的id(全路径)组成key和整个标签和数据连接组成MappedStatement存放到Configuration中的 mappedStatements这个map里面。 (2)bindMapperForNamespace()是把接口类型(interface mapper.UserMapper)和工厂类存到放MapperRegistry中的knownMappers里面。 SqlSessionFactory的创建 public SqlSessionFactory build(Configuration config) { return new DefaultSqlSessionFactory(config); } 直接把Configuration当做参数,直接new一个DefaultSqlSessionFactory。 SqlSession会话的创建过程 mybatis操作的时候跟数据库的每一次连接,都需要创建一个会话,我们用openSession()方法来创建。这个会话里面需要包含一个Executor用来执行 SQL。Executor又要指定事务类型和执行器的类型。 创建Transaction(两种方式) 如果配置的是 JDBC,则会使用Connection 对象的 commit()、rollback()、close()管理事务。 如果配置成MANAGED,会把事务交给容器来管理,比如 JBOSS,Weblogic。 SqlSession sqlSession = sqlSessionFactory.openSession(); public SqlSession openSession() { //configuration中有默认赋值protected ExecutorType defaultExecutorType = ExecutorType.SIMPLE return openSessionFromDataSource(configuration.getDefaultExecutorType(), null, false); } <environments default="development"> <environment id="development"> <transactionManager type="JDBC"/> <dataSource type="POOLED"> <property name="driver" value="${driver}"/> <property name="url" value="${url}"/> <property name="username" value="${username}"/> <property name="password" value="${password}"/> </dataSource> </environment> </environments> 创建Executor //ExecutorType是SIMPLE,一共有三种SIMPLE(SimpleExecutor)、REUSE(ReuseExecutor)、BATCH(BatchExecutor) private SqlSession openSessionFromDataSource(ExecutorType execType, TransactionIsolationLevel level, boolean autoCommit) { Transaction tx = null; try { //xml中的development节点 final Environment environment = configuration.getEnvironment(); //type配置的是Jbdc所以生成的是JbdcTransactionFactory工厂类 final TransactionFactory transactionFactory = getTransactionFactoryFromEnvironment(environment); //Jdbc生成JbdcTransactionFactory生成JbdcTransaction tx = transactionFactory.newTransaction(environment.getDataSource(), level, autoCommit); //创建CachingExecutor执行器 final Executor executor = configuration.newExecutor(tx, execType); //创建DefaultSqlSession属性包括 Configuration、Executor对象 return new DefaultSqlSession(configuration, executor, autoCommit); } catch (Exception e) { closeTransaction(tx); // may have fetched a connection so lets call close() throw ExceptionFactory.wrapException("Error opening session. Cause: " + e, e); } finally { ErrorContext.instance().reset(); } } 获得Mapper对象 UserMapper userMapper = sqlSession.getMapper(UserMapper.class); public <T> T getMapper(Class<T> type) { return configuration.getMapper(type, this); } mapperRegistry.getMapper是从MapperRegistry的knownMappers里面取的,knownMappers里面存的是接口类型(interface mapper.UserMapper)和工厂类(MapperProxyFactory)。 public <T> T getMapper(Class<T> type, SqlSession sqlSession) { return mapperRegistry.getMapper(type, sqlSession); } 从knownMappers的Map里根据接口类型(interface mapper.UserMapper)取出对应的工厂类。 public <T> T getMapper(Class<T> type, SqlSession sqlSession) { final MapperProxyFactory<T> mapperProxyFactory = (MapperProxyFactory<T>) knownMappers.get(type); if (mapperProxyFactory == null) { throw new BindingException("Type " + type + " is not known to the MapperRegistry."); } try { return mapperProxyFactory.newInstance(sqlSession); } catch (Exception e) { throw new BindingException("Error getting mapper instance. Cause: " + e, e); } } public T newInstance(SqlSession sqlSession) { final MapperProxy<T> mapperProxy = new MapperProxy<>(sqlSession, mapperInterface, methodCache); return newInstance(mapperProxy); } 这里通过JDK动态代理返回代理对象MapperProxy(org.apache.ibatis.binding.MapperProxy@6b2ea799) protected T newInstance(MapperProxy<T> mapperProxy) { //mapperInterface是interface mapper.UserMapper return (T) Proxy.newProxyInstance(mapperInterface.getClassLoader(), new Class[] { mapperInterface }, mapperProxy); } UserMapper userMapper = sqlSession.getMapper(UserMapper.class); 执行SQL User user = userMapper.getUserById(1); 调用invoke代理方法 由于所有的 Mapper 都是 MapperProxy 代理对象,所以任意的方法都是执行MapperProxy 的invoke()方法 public Object invoke(Object proxy, Method method, Object[] args) throws Throwable { try { //判断是否需要去执行SQL还是直接执行方法 if (Object.class.equals(method.getDeclaringClass())) { return method.invoke(this, args); //这里判断的是接口中的默认方法Default等 } else if (isDefaultMethod(method)) { return invokeDefaultMethod(proxy, method, args); } } catch (Throwable t) { throw ExceptionUtil.unwrapThrowable(t); } //获取缓存,保存了方法签名和接口方法的关系 final MapperMethod mapperMethod = cachedMapperMethod(method); return mapperMethod.execute(sqlSession, args); } 调用execute方法 这里使用的例子用的是查询所以走的是else分支语句。 public Object execute(SqlSession sqlSession, Object[] args) { Object result; //根据命令类型走不行的操作command.getType()是select switch (command.getType()) { case INSERT: { Object param = method.convertArgsToSqlCommandParam(args); result = rowCountResult(sqlSession.insert(command.getName(), param)); break; } case UPDATE: { Object param = method.convertArgsToSqlCommandParam(args); result = rowCountResult(sqlSession.update(command.getName(), param)); break; } case DELETE: { Object param = method.convertArgsToSqlCommandParam(args); result = rowCountResult(sqlSession.delete(command.getName(), param)); break; } case SELECT: if (method.returnsVoid() && method.hasResultHandler()) { executeWithResultHandler(sqlSession, args); result = null; } else if (method.returnsMany()) { result = executeForMany(sqlSession, args); } else if (method.returnsMap()) { result = executeForMap(sqlSession, args); } else if (method.returnsCursor()) { result = executeForCursor(sqlSession, args); } else { //将参数转换为SQL的参数 Object param = method.convertArgsToSqlCommandParam(args); result = sqlSession.selectOne(command.getName(), param); if (method.returnsOptional() && (result == null ** !method.getReturnType().equals(result.getClass()))) { result = Optional.ofNullable(result); } } break; case FLUSH: result = sqlSession.flushStatements(); break; default: throw new BindingException("Unknown execution method for: " + command.getName()); } if (result == null && method.getReturnType().isPrimitive() && !method.returnsVoid()) { throw new BindingException("Mapper method '" + command.getName() + " attempted to return null from a method with a primitive return type (" + method.getReturnType() + ")."); } return result; } 调用selectOne其实是selectList selectOne查询一个和查询多个其实是一样的。 public <T> T selectOne(String statement, Object parameter) { // Popular vote was to return null on 0 results and throw exception on too many. List<T> list = this.selectList(statement, parameter); if (list.size() == 1) { return list.get(0); } else if (list.size() > 1) { throw new TooManyResultsException("Expected one result (or null) to be returned by selectOne(), but found: " + list.size()); } else { return null; } } public <E> List<E> selectList(String statement, Object parameter, RowBounds rowBounds) { try { //从Configuration里的mappedStatements里根据key(id的全路径)获取MappedStatement 对象 MappedStatement ms = configuration.getMappedStatement(statement); return executor.query(ms, wrapCollection(parameter), rowBounds, Executor.NO_RESULT_HANDLER); } catch (Exception e) { throw ExceptionFactory.wrapException("Error querying database. Cause: " + e, e); } finally { ErrorContext.instance().reset(); } } mappedStatements对象如图 MappedStatement对象如图 执行query方法 创建CacheKey 从 BoundSql 中获取SQL信息,创建 CacheKey。这个CacheKey就是缓存的Key。 public <E> List<E> query(MappedStatement ms, Object parameterObject, RowBounds rowBounds, ResultHandler resultHandler) throws SQLException { //创建缓存Key BoundSql boundSql = ms.getBoundSql(parameterObject); //key = -575461213:-771016147:mapper.UserMapper.getUserById:0:2147483647:select * from test_user where id = ?:1:development CacheKey key = createCacheKey(ms, parameterObject, rowBounds, boundSql); return query(ms, parameterObject, rowBounds, resultHandler, key, boundSql); } public <E> List<E> query(MappedStatement ms, Object parameterObject, RowBounds rowBounds, ResultHandler resultHandler, CacheKey key, BoundSql boundSql) throws SQLException { Cache cache = ms.getCache(); if (cache != null) { flushCacheIfRequired(ms); if (ms.isUseCache() && resultHandler == null) { ensureNoOutParams(ms, boundSql); @SuppressWarnings("unchecked") List<E> list = (List<E>) tcm.getObject(cache, key); if (list == null) { list = delegate.query(ms, parameterObject, rowBounds, resultHandler, key, boundSql); tcm.putObject(cache, key, list); // issue #578 and #116 } return list; } } return delegate.query(ms, parameterObject, rowBounds, resultHandler, key, boundSql); } 清空本地缓存 public <E> List<E> query(MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler, CacheKey key, BoundSql boundSql) throws SQLException { ErrorContext.instance().resource(ms.getResource()).activity("executing a query").object(ms.getId()); if (closed) { throw new ExecutorException("Executor was closed."); } //queryStack 用于记录查询栈,防止递归查询重复处理缓存 //flushCache=true 的时候,会先清理本地缓存(一级缓存) if (queryStack == 0 && ms.isFlushCacheRequired()) { //清空本地缓存 clearLocalCache(); } List<E> list; try { queryStack++; list = resultHandler == null ? (List<E>) localCache.getObject(key) : null; if (list != null) { handleLocallyCachedOutputParameters(ms, key, parameter, boundSql); } else { //如果没有缓存,会从数据库查询:queryFromDatabase() list = queryFromDatabase(ms, parameter, rowBounds, resultHandler, key, boundSql); } } finally { queryStack--; } if (queryStack == 0) { for (DeferredLoad deferredLoad : deferredLoads) { deferredLoad.load(); } // issue #601 deferredLoads.clear(); //如果 LocalCacheScope == STATEMENT,会清理本地缓存 if (configuration.getLocalCacheScope() == LocalCacheScope.STATEMENT) { // issue #482 clearLocalCache(); } } return list; } 从数据库查询 private <E> List<E> queryFromDatabase(MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler, CacheKey key, BoundSql boundSql) throws SQLException { List<E> list; //先在缓存用占位符占位 localCache.putObject(key, EXECUTION_PLACEHOLDER); try { //执行Executor 的 doQuery(),默认是SimpleExecutor list = doQuery(ms, parameter, rowBounds, resultHandler, boundSql); } finally { //执行查询后,移除占位符 localCache.removeObject(key); } //从新放入数据 localCache.putObject(key, list); if (ms.getStatementType() == StatementType.CALLABLE) { localOutputParameterCache.putObject(key, parameter); } return list; } 执行doQuery public <E> List<E> doQuery(MappedStatement ms, Object parameter, RowBounds rowBounds, ResultHandler resultHandler, BoundSql boundSql) throws SQLException { Statement stmt = null; try { Configuration configuration = ms.getConfiguration(); StatementHandler handler = configuration.newStatementHandler(wrapper, ms, parameter, rowBounds, resultHandler, boundSql); stmt = prepareStatement(handler, ms.getStatementLog()); return handler.query(stmt, resultHandler); } finally { closeStatement(stmt); } } 源码总结 总体上来说,MyBatis的源码还是比较简单的,只要大家踏下心来,花个两三天仔细研究下,基本上都能弄明白源码的主体脉络。 点击关注,第一时间了解华为云新鲜技术~

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册