ABtest在OpenSearch上的设计与实现
为什么要做ABtest
OpenSearch是为用户提供数据搜索解决方案的平台,目前已经通过阿里云平台为集团内外大量客户提供服务。为了更好地提供搜索服务,OpenSearch打算把集团内部已经成熟的算法功能输出给外部客户使用,如类目预测、查询分析等。但是在我们开放类目预测功能之后却发现鲜少有人使用,调研了一些相关客户后,发现原因是无法证明使用了类目预测功能之后真的能提升搜索服务效果,以及提升了多少,因此客户不敢贸然使用,于是ABtest功能应运而生。
实现方案调研
什么是ABtest
ABtest是指为了达成某一优化目标,提出两种方案A和B,让一部分用户使用A方案,另一部分用户使用B方案,然后通过比较这两部分用户的行为数据来说明哪个方案更优的实验方法。当然真实的实验场景会更复杂,包含更多的方案做比较。此外,为了为有限流量的用户提供同时做多