阿里研究员:测试稳定性三板斧,我怎么用?
阿里妹导读:如何治理测试稳定性问题?很多人会说:环境、流程管控、监控、工具化、加机器、专人负责、等等。这些都是对的。不过这些都是解决方案层面的,而不是方法论和理论体系层面的。今天,阿里研究员郑子颖来说说测试稳定性的三板斧。据说,阿里同学们都非常认同这三板斧,看完文章感觉很多做的事情有了理论基础。
郑子颖:阿里巴巴研究员,2002年上海交通大学计算机系硕士毕业。2018年3月加入阿里,负责质量和技术风险。
1. 测试稳定性问题
理想情况下,我们希望每一个失败的测试用例[1]都是由真正的缺陷引起的。实际情况中,用例失败的原因大多是一些其他的原因:
- 某个服务的版本部署的不对
- 测试执行机的硬盘满了,因为上次运行时写的log没清掉
- 数据库里有脏数据
- 测试用例写得有问题
- 测试运行时有人手工执行了一次定时任务,把流水捞走了
- 消息串了
- ...
每次排查都是一堆这种问题

