阿里创新自动化测试工具平台--Doom
背景 信息系统上线后通常会需要迭代升级甚至重构,如何确保系统原有业务的正确性非常重要。曾经有一家叫瑞穗证券的证券公司因为一个系统bug导致了数亿美金的损失,赔掉了公司一年的利润。这样的极端例子虽然少见,但是却像达摩克利斯之剑警示着我们,那么当前系统稳定性都有哪些挑战呢? 系统改造升级由于回归测试不全面导致线上故障。 自动化脚本的编写和维护需要大量成本,枯燥单调,且覆盖率很难保证。 灰度测试要临近上线才能实施,且存在流量小、无有效验证手段、不能消除bug对业务影响等问题。 阿里作为一家以电商为核心的公司,交易系统和稳定性的重要性不言而喻。整个交易系统在多年的发展过程中,经历了很多业务的上下线,维护的人员也换了一波又一波,几乎没有人能梳理清楚其中的业务和代码。当它不得不面临一次全面升级的时候,其回归测试的困难度难以想象。 如何解决? 如何实现低成本高效率的自动化测试,确保线上稳定性,避免一切可能发生的线上故障呢?复制线上真实流量来进行自动化回归归测试是一个行之有效的办法。 当前支持复制流量来做自动回归的工具有网易的tcpcopy、twitter的diffy等等,但是这些工具均无法用于交易核...