CI+JUnit5并发单测机制创新实践 | 京东物流技术团队

2023-08-11 327

一. 现状·问题

针对现如今高并发场景的业务系统，“并发问题” 终归是必不可少的一类（占比接近10%），每次出现问题和事故后，需要耗费大量人力成本排查分析并修复。那如果能在事前尽可能避免岂不是很香？

二. 分析原因

当前并发测试多数依赖测试人员进行脚本测试，同时还依赖了研发和产品识别出并发操作的场景用例。
对于并发测试，大概两条路子：

所有修改同样数据的命令式接口都测一遍？【耗费巨大测试成本】
保证黄金流程的接口，研发从头扒代码。【可能会遗漏，耗费一定研发成本】

🤔自我反思

作为研发，是不是在刚开发接口时候，识别到并发场景随着单元测试阶段同时进行并发测试，这样的成本是最小的，收益是最高效的！

三. 采取措施

并发测试前置

采用CI持续集成机制，依靠行云流水线，底层利用junit5单元测试框架并发parallel引擎，嵌入同步数据库的自定义unit test脚本，将每个并发case维护成单元测试，数据自我闭环，可重复执行！

将核心的并发场景进行及时的运行验证，最早洞察，最早验证，最小成本，最大保障！

四. 实践步骤

前提：配置junit-platform.properties

# src/test/resources/junit-platform.properties
junit.jupiter.execution.parallel.enabled=true
junit.jupiter.execution.parallel.config.strategy=fixed
junit.jupiter.execution.parallel.config.fixed.parallelism=20

单接口并发-@RepeatedTest

ManualCheckAppConcurrentTest 出库复核并发测试「单接口并发」-> 手动复核 10个线程

👉 核心代码块

public class ManualCheckAppConcurrentTest extends ConcurrentTest {


    @Resource
    ManualCheckAppService manualCheckAppService;
  
    //记录执行成功的线程数
    static int successThreadCount = 0;


    ///////////////////////////////////////////////////////////////////////////
    // 单接口并发
    ///////////////////////////////////////////////////////////////////////////
    @DisplayName("（单接口并发）并发测试【手动确认复核】")
    @Description("（10个线程）场景：复核1件,一共5件,应该有5个线程成功，5个线程失败：没有查询到容器明细记录" +
            "使用友好式分布式锁防止并发，并发后等待重试，保证顺序执行无异常！")
    @Execution(CONCURRENT)
    @RepeatedTest(value = 10, name = "{displayName}:{totalRepetitions}-{currentRepetition}")
    public void testConfirmChecked(TestInfo testInfo) {
    
          manualCheckAppService.confirmChecked(mockConfirmCheckedDto());
          successThreadCount++;
    }


    /**
     * 断言最终结果：数据无问题，线程执行无问题
     */
    @AfterAll
    public static void assertResult() {
        //线程执行成功数期望：一共5件，每个线程复核1件，共有5个线程成功
        Assertions.assertEquals(5, successThreadCount);
        //数据成功期望：没有待复核的容器明细了，因为都复核成功了，一共5件
        ConfirmCheckedDto confirmCheckedDto = mockConfirmCheckedDto();
        List<ContainerDetailPo> containerDetailPos = SpringUtil.getBean(ContainerDetailDao.class).selectUncheckDetailsBySoAndSku(
                confirmCheckedDto.getTaskNo(), confirmCheckedDto.getShipmentOrderNo(), confirmCheckedDto.getSku(), confirmCheckedDto.getWarehouseNo());
        Assertions.assertTrue(CollectionUtils.isEmpty(containerDetailPos));
    }


    @Test
    @Sql({"/concurrent/manualCheck.sql"})
    @Override
    void prepareData()

多场景并发-@Execution(CONCURRENT)

CheckAppConcurrentTest 出库复核并发测试「多场景并发」-> 手动复核|自动复核

👉 核心代码块

public class CheckAppConcurrentTest extends ConcurrentTest {


    @Resource
    ManualCheckAppService manualCheckAppService;
    @Resource
    AutoCheckAppService autoCheckAppService;


    ///////////////////////////////////////////////////////////////////////////
    // 多场景并发
    ///////////////////////////////////////////////////////////////////////////
    @DisplayName("（多场景并发）并发测试【自动确认复核】")
    @Description("与手动复核发生并发场景，期望可能存在业务异常（自定义锁冲突发生的消息）")
    @Execution(CONCURRENT)
    @Test
    public void testAutoCheckBySo() {
        autoCheckAppService.autoCheckBySo(Lists.newArrayList("SO-6_6_601-1492066800186167296"), mockAutoCheckBySoDto());
    }


    @DisplayName("（多场景并发）并发测试【手动确认复核】")
    @Description("与自动复核发生并发场景，期望可能存在业务异常（自定义锁冲突发生的消息）")
    @Execution(CONCURRENT)
    @Test
    public void testConfirmChecked() {
        manualCheckAppService.confirmChecked(mockConfirmCheckedDto());
    }
    /**
     * 断言最终结果：数据无问题
     */
    @AfterAll
    public static void assertResult() {
        //数据成功期望：没有待复核的容器明细了，无论是手动复核还是自动复核，都会全部复核完
        ConfirmCheckedDto confirmCheckedDto = mockConfirmCheckedDto();
        List<ContainerDetailPo> containerDetailPos = SpringUtil.getBean(ContainerDetailDao.class).selectUncheckDetailsBySoAndSku(
                confirmCheckedDto.getTaskNo(), confirmCheckedDto.getShipmentOrderNo(), confirmCheckedDto.getSku(), confirmCheckedDto.getWarehouseNo());
        Assertions.assertTrue(CollectionUtils.isEmpty(containerDetailPos));
    }


    @Test
    @Sql({"/concurrent/manualCheck.sql"})
    @Override
    void prepareData() {}

并发单测基类-@Transactional

ConcurrentTest 建议抽出并发测试基类（主要目的：准备数据、设置路由、数据清除、独立执行）

@Tag("parallel")分组: 并发测试用例,有助于单独执行套件!

👉 核心代码块


@SpringBootTest(classes = WebApplication.class)
@Tag("parallel")
public abstract class ConcurrentTest {
    /**
     * 并发测试场景的前提数据准备
     * { @Sql 数据脚本配置 }
     */
    @Transactional
    @Order(0)
    @Rollback(false)
    abstract void prepareData();
    /**
     * 设置当前线程数据源
     */
    @BeforeTransaction
    public void setThreadDataSource() {
        DataSourceContextHolder.clearDataSourceKey();
        //多数据源，分库分表
        DataSourceContextHolder.setDataSource("ds0");
    }


   /**
     * 清除数据
     */
    @Rollback(false)
    @AfterAll
    public static void clearData(){
        new DatabaseSyncTest().execute("wms_check","wms_check_test");
    }

数据准备-@Sql

如何准备数据？

=> 新建一个专门单元测试/并发测试的空数据库

准备测试场景的前置数据SQL脚本

👉 源脚本

DELETE FROM ck_task;
INSERT INTO ck_task (id, task_no, sku_qty, total_qty, platform_no, status, warehouse_no, create_user,
                                    update_user, create_time, update_time, ts, deleted, suggest_platform, uuid,
                                    parent_task_no, pick_differ_allow, operation_type, picking_flag, task_type,
                                    ext_info,
                                    subtask_qty, tenant_code, current_stream_no, confluence, batch_no, requirements)
VALUES (1492071049884340224, 'T6X6X60122021100000329', 1.0000, 5.0000, '', 0, '6_6_601', 'xiaoyan', 'xiaoyan',
        '2022-02-11 17:45:26', '2022-02-11 17:45:26', '2022-02-11 17:45:26', 0, '', 'zyr1228003', '', 0, 0, 0, 0, null,
        null, 'TC30020150', 0, 1, 'cj006001', '{"allowBatchCheck": true}');

数据回滚-@ParameterizedTest

CI自动同步数据库表结构： 测试环境数据库->单测数据库

利好：（研发无需被动维护schema，自动与真实数据库结构同步）

只需要将下面单测copy到代码中，将fromDb和toDb参数修改成自己数据库即可！

👉 源代码

    @DisplayName("单元测试MYSQL-DB结构同步")
    @SneakyThrows
    @ParameterizedTest
    @CsvSource("wms_check,wms_check_test")
    public void execute(String fromDb, String toDb) {
        ResultSet resultSet = null;
        Class.forName("com.mysql.jdbc.Driver");
        try (
                Connection connection = DriverManager.getConnection("***","user", "***");
                Statement statement = connection.createStatement()
        ) {
            String initDb = "DROP DATABASE IF EXISTS " + toDb + ";CREATE DATABASE " + toDb + ";";
            log.info(initDb);
            statement.executeUpdate(initDb);
            resultSet = statement.executeQuery("SHOW TABLES FROM " + fromDb + ";");
            List<String> tableNames = Lists.newArrayList();
            while (resultSet.next()) {
                tableNames.add(resultSet.getString("Tables_in_" + fromDb));
            }
            for (String tableName : tableNames) {
                String syncSql = "DROP TABLE IF EXISTS " + toDb + "." + tableName + ";" +
                        "CREATE TABLE " + toDb + "." + tableName + " LIKE " + fromDb + "." + tableName + ";";
                log.info(syncSql);
                statement.executeUpdate(syncSql);
            }
        } finally {
            if(resultSet != null){
                resultSet.close();
            }
        }
    }

配置CI-@行云流水线

建议在提测流水线增加，不要再日常dev流水线（集成测试相对耗时）

只执行并发单测用例-Dtest.mode 基于junit5 @Tag

https://junit.org/junit5/docs/current/user-guide/#writing-tests-tagging-and-filtering

mvn test -Dtest.mode=parallel

配置IDEA-本地测试

—— 只运行并发测试用例

执行结果

单接口并发单测

多场景并发单测

五. 效能提升

5.1需求交付效率提升

5.1.1降低测试周期阶段时长

2022-02月实践后

因为「并发测试」前置到「研发单元测试」环节，所以「测试阶段」时长缩短（2.5 天 -> 1 天）

2022-Q1

2022-Q2

2022-Q3

2022-Q4

「测试周期」阶段停留时长和占比，呈下降趋势！

5.1.2缩短需求交付全周期

2022-02月实践后

因为「测试周期」缩短，研发单元测试成本几乎不变，所以「需求交付全周期」随之缩短（55 天 -> 35 天）！

5.2人效提升

5.2.1提升验证全面性

「case by case」，通过单元测试「断言机制」，最细粒度全方位验证！

在【开发阶段】识别到接口存在并发问题，及时编写单元测试进行验证，针对分布式锁和乐观锁等常用防并发手段，对应不同的assert方式：

数据库乐观锁：通过判断最终数据保证执行无问题
分布式友好锁：不会报错，会等待，最终所有请求处理成功
分布式冲突锁：直接报错，断言异常信息
......

5.2.2降低测试人力成本

减少花大量时间专项测试N个接口并发测试成本，「最早发现，最早处理，最小成本」！

根据下图可见，从编码阶段、单元测试阶段、接口测试阶段、集成测试阶段、预发布阶段等软件生命周期中，越早发现问题，付出成本越小。

5.2.3提升需求吞吐量

2022-02月实践后

因为减少人力成本，所以会直接提升需求的吞吐量（200个 -> 225个）！

5.3过程质量提升

5.3.1降低问题的发生概率

「并发测试前置」到研发单元测试环节，可减少缺陷数，降低问题发生概率！

5.3.2减少线上问题数

👉 今年线上问题-并发问题类别为 0

5.3.2减少Bug数

👉过程质量中并发问题趋势逐步降低

作者：京东物流周奕儒

来源：京东云开发者社区自猿其说Tech

微信关注我们

原文链接：https://my.oschina.net/u/4090830/blog/10094559

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

AI圈与工业圈的头头脑脑们，出来走几步

从AlphaGo到大模型，是人工智能浮浮沉沉的十年。工业制造，也在向“智造”进一步延伸。但是，尽管市场总体认可工业AI前景，但其快速落地并非易事。在中国信息通信研究院出品的《工业智能白皮书（2022）》中，提到工业AI落地三个方面的挑战：一是关键融合技术尚未突破，主要指以深度学习为核心的 AI 算法及软硬件配套技术在可解释性、实时性、数据可用性、易用性与适配性四方面还没有实现突破性进展；二是应用场景缺乏进一步识别，需要进行高价值高需求场景或可复制推广场景的梳理及遴选。三是产业生态与保障机制还不完善，主要是数据共建共享机制、模型知识所属权界定等问题。总结起来，无外乎数据、行业Know-How、技术以及产业生态。或许大模型所带来的技术跃迁让一些业务场景的落地更加容易，但想要带来实质性的改变，仍要再向前跑几步。这”几步“，是相互的，一定得是技术公司与工业制造界的双向奔赴。这正是虎嗅智库举办此2023工业AI大会的初衷。我们期望促成领先制造企业与科技创新企业的理解、融合与对接，推动工业AI生态发展共识，为我国制造业高质量发展助力。本次大会，9月7号、8号，两天，在苏州。目...

2023-08-11

297

在数字经济时代下，数据驱动业务创新发展已经成为企业的主要选择，基金行业机构也在积极推进数字化转型，但机遇与挑战并存。数据要转化为数据要素，需要系统体系化的数据能力建设作为催化剂。基金行业也表现出一定的痛点，其中表现为数据安全保护不够到位，缺少数据脉络，数据质量得不到保障等。同时由于行业内在进行系统建设时，对数据管理工作的重要性认识不足以及长年累月杂乱数据的堆积，导致数据治理工作推进艰难，致使在营销端、分析端、监管报送端长期存在客户重复，资产异常等情况。在公司“十四五”数字化发展规划的指导下，基金公司坚持统筹推进、聚焦痛点，强化数据能力建设，在完善数据治理体系、搭建大数据技术、提升数据服务能力等方面持续发力，多措并举逐步探索形成了符合基金自身特色的数据能力建设治理之路。基金公司数据治理解决方案围绕监管规范打造基金行业数据治理体系一是完善治理组织：建立完善的数据治理组织架构，落实组织在治理工作中的责任与职能，配套数据治理相关制度，推进数据治理工作落实。二是打造资产体系：梳理全域业务数据明确各项属性义，通过资产目录形式分类管理，实现数据可见、可用、可管理，全面量化数据价值。三是...

2023-08-11

355

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

CI+JUnit5并发单测机制创新实践 | 京东物流技术团队

一. 现状·问题

二. 分析原因

🤔自我反思

三. 采取措施

并发测试前置

四. 实践步骤

单接口并发-@RepeatedTest

多场景并发-@Execution(CONCURRENT)

并发单测基类-@Transactional

数据准备-@Sql

数据回滚-@ParameterizedTest

配置CI-@行云流水线

配置IDEA-本地测试

执行结果

五. 效能提升

5.1需求交付效率提升

5.1.1降低测试周期阶段时长

5.1.2缩短需求交付全周期

5.2人效提升

5.2.1提升验证全面性

5.2.2降低测试人力成本

5.2.3提升需求吞吐量

5.3过程质量提升

5.3.1降低问题的发生概率

5.3.2减少线上问题数

5.3.2减少Bug数

AI圈与工业圈的头头脑脑们，出来走几步

基金公司数据治理实践，打造“点线面体”的数据治理体系

相关文章

发表评论

资源下载

腾讯云软件源

Nacos

Rocky Linux

Sublime Text

欢迎您来访！