Spring Cloud异步场景分布式事务怎样做？试试RocketMQ-低调大师

Spring Cloud异步场景分布式事务怎样做？试试RocketMQ

2019-09-23 681

一、背景

在微服务架构中，我们常常使用异步化的手段来提升系统的吞吐量和解耦上下游，而构建异步架构最常用的手段就是使用 消息队列(MQ)，那异步架构怎样才能实现数据一致性呢？本文主要介绍如何使用RocketMQ的事务消息来解决一致性问题。

RocketMQ 是阿里巴巴开源的分布式消息中间件，目前已成为 Apache 的顶级项目。历经多次天猫双十一海量消息考验，具有高性能、低延时和高可靠等特性

PS：同步场景怎样保证一致性？请看文章《Spring Cloud同步场景分布式事务怎样做？试试Seata》

二、MQ选型

可以看到在业务处理方面来说 RocketMQ 优于其他对手，而且原生支持事务消息

PS：业务系统用的是其他 MQ 产品但是又需要事务消息怎么办？学习原理自己开发实现！

三、什么是事务消息

例如下图的场景：生成订单记录 -> MQ -> 增加积分

我们是应该先创建订单记录，还是先发送MQ消息呢？

先发送MQ消息：这个明显是不行的，因为如果消息发送成功，而订单创建失败的话是没办法把消息收回来的
先创建订单记录：如果订单创建成功后MQ消息发送失败抛出异常，因为两个操作都在本地事务中所以订单数据是可以回滚的

上面的方式二看似没问题，但是网络是不可靠的！如果 MQ 的响应因为网络原因没有收到，所以在面对不确定的结果只好进行回滚；但是 MQ 端又确实是收到了这条消息的，只是回给客户端的响应丢失了！

所以 事务消息 就是用来保证本地事务与 MQ消息发送的原子性！

四、RocketMQ事务消息原理

主要的逻辑分为两个流程：

事务消息发送及提交：
1. 发送 half消息
2. MQ服务端 响应消息写入结果
3. 根据发送结果执行 本地事务（如果写入失败，此时half消息对业务不可见，本地逻辑不执行）
4. 根据本地事务状态执行 Commit 或者 Rollback（Commit操作生成消息索引，消息对消费者可见）
回查流程：
1. 对于长时间没有 Commit/Rollback 的事务消息（pending 状态的消息），从服务端发起一次回查
2. Producer 收到回查消息，检查回查消息对应的 本地事务状态
3. 根据本地事务状态，重新 Commit 或者 Rollback

逻辑时序图

五、异步架构一致性实现思路

从上面的原理可以发现 事务消息 仅仅只是保证本地事务和MQ消息发送形成整体的 原子性，而投递到MQ服务器后，并无法保证消费者一定能消费成功！

如果消费端消费失败后的处理方式，建议是记录异常信息然后人工处理，并不建议回滚上游服务的数据(因为两者是解耦的，而且复杂度太高)

我们可以利用 MQ 的两个特性 重试 和 死信队列 来协助消费端处理：

消费失败后进行一定次数的 重试
重试后也失败的话该消息丢进 死信队列 里
另外起一个线程监听消费 死信队列 里的消息，记录日志并且预警！

因为有 重试 所以消费者需要实现幂等性

六、分布式事务场景样例

下面就用刚刚提到的场景：生成订单记录 -> MQ -> 增加积分；来简单讲一下 Spring Cloud 中应该怎么做，详细代码请下载demo 查看。
PS：怎样安装部署RocketMQ可以参考《Apache RocketMQ 消息队列部署与可视化界面安装》

6.1. 引入依赖

使用 spring-cloud-stream 框架来访问 RocketMQ

Spring Cloud Stream 是一个构建消息驱动的框架，通过抽象的定义实现应用与MQ消息队列之间的解耦，目前支持 RabbitMQ、kafka 和 RocketMQ

6.2. 开启事务消息

消息生产者需要添加 transactional: true 开启事务消息

6.3. 订单服务发送half消息

因为开启了 事务消息 所以这里发送的是 half消息 对于消费端是 不可见 的

6.4. 订单服务监听half消息

使用 @RocketMQTransactionListener 注解监听半消息，并实现 RocketMQLocalTransactionListener 接口，该接口有两个方法

executeLocalTransaction：用于提交本地事务
checkLocalTransaction：用于事务回查

如果提交事务消息失败，需等待约1分钟左右事务回查方法才会被调用

6.5. 积分服务消费消息

注意：因为有重试这里如果是真实的业务需要自行实现 幂等性

6.6. 消费死信队列预警

监听并消费死信队列中的消息，用于记录错误日志，并且预警通知运维人员等

6.7. 测试用例

demo中提供了3个接口分别测试不同的场景：

事务成功
http://localhost:11002/success
流程如下：
1. 订单创建成功
2. 提交事务消息成功
3. 消费消息增加积分成功
订单创建成功但提交事务消息失败
http://localhost:11002/produceError
流程如下：
1. 订单创建成功
2. 提交事务消息失败
3. 事务回查(等待1分钟左右) 成功
4. 提交事务消息成功
5. 消费消息增加积分成功
消费消息失败
http://localhost:11002/consumeError
流程如下：
1. 订单创建成功
2. 提交事务消息成功
3. 消费消息增加积分失败
4. 重试消费消息失败
5. 进入死信队列成功
6. 消费死信队列的消息成功
7. 记录日志并发出预警成功

七、demo下载地址

https://gitee.com/zlt2000/microservices-platform/tree/master/zlt-demo/rocketmq-demo/rocketmq-transactional

往期精彩回顾

我就知道你“在看”

本文分享自微信公众号 - 陶陶技术笔记（zltrobin）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/zlt2000/blog/4522907

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spring Cloud Gateway的动态路由怎样做？集成Nacos实现很简单

一、说明网关的核心概念就是路由配置和路由规则，而作为所有请求流量的入口，在实际生产环境中为了保证高可靠和高可用，是尽量要避免重启的，所以实现动态路由是非常有必要的；本文主要介绍Spring Cloud Gateway实现的思路，并且以Nacos为数据源来讲解 PS：关于Spring Cloud Zuul的动态路由请看文章《Spring Cloud Zuul的动态路由怎样做？集成Nacos实现很简单》二、实现要点要实现动态路由只需关注下面4个点网关启动时，动态路由的数据怎样加载进来静态路由与动态路由以那个为准，ps：静态路由指的是配置文件里写死的路由配置监听动态路由的数据源变化数据有变化时怎样通知gateway刷新路由三、具体实现 Spring Cloud Gateway中加载路由信息分别由以下几个类负责 PropertiesRouteDefinitionLocator：从配置文件中读取路由信息(如YML、Properties等) RouteDefinitionRepository：从存储器中读取路由信息(如内存、配置中心、Redis、MySQL等) Discover...

2019-10-21

718

一、概述在微服务架构下，虽然我们会尽量避免分布式事务，但是只要业务复杂的情况下这是一个绕不开的问题，如何保证业务数据一致性呢？本文主要介绍同步场景下使用Seata的AT模式来解决一致性问题。 Seata是阿里巴巴开源的一站式分布式事务解决方案中间件，以高效并且对业务0 侵入的方式，解决微服务场景下面临的分布式事务问题二、Seata介绍整体事务逻辑是基于两阶段提交的模型，核心概念包括以下3个角色： TM：事务的发起者。用来告诉 TC，全局事务的开始，提交，回滚。 RM：具体的事务资源，每一个 RM 都会作为一个分支事务注册在 TC。 TC：事务的协调者seata-server，用于接收我们的事务的注册，提交和回滚。目前的Seata有两种模式可使用分别对应不同业务场景 2.1. AT模式该模式适合的场景：基于支持本地ACID事务的关系型数据库。 Java 应用，通过JDBC访问数据库。一个典型的分布式事务过程： TM向TC申请开启一个全局事务，全局事务创建成功并生成一个全局唯一的XID。 XID在微服务调用链路的上下文中传播。 RM向TC注册分支事务，将其纳入 XID 对...

2019-09-16

547

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。