AB测试-创建一个AB测试
Target:
使用该AB测试,您预计能够在下面列举的方面得到提升
- 对AB测试的流程进行管理,能够直观看到在新建,待评审,就绪,运行中,已结束的各个任务。对目前公司各个项目的AB测试有个全局的认识
- 可视化单个AB测试的生命周期,用户可以预先安排上线的实际,结束的实际,系统会对事件情况调整实际的上线时间和结束时间,这一切都可见
- 自动进行显著性分析。根据预算的核心指标进行自动计算A/B测试各组结论的显著性。
- 自动生成数据大盘报表,方便跟踪AB测试的数据情况。系统会根据创建试验时预设的指标,自动生成数据大盘
- 主动反馈,快速反馈。每日会根据现有的数据表现,生成AB测试日报推送到给业务方。另外在AB测试每次改动都会主动推送告知业务方
Blocks:
整个AB测试能够成功落地,还是依赖无觅近一年半以来平台、数仓以及中台的建设,所提供各种各样的脚手架/系统,整个关系如下图:
实时用户画像系统:提供了可供进行任意标签组合的用户群。作为AB测试实验的基础
埋点地图和埋点管理:提供针对具体AB测试需求的可视化埋点,保证埋点定义的唯一,准确,避免漏埋,错埋
维度管理系统和指标管理系统集合实时数仓:能够根据预定义的指标生成数据大盘,方便用户快速各种明细统计数据
实时数据服务和在线显著性分析算法服务:提供了统一的数据标准,用于计算AB测试服务的显著性。
实时告警服务:实时反馈AB测试的变动,已经每日的测试后进展
Progress:
整个AB测试的流程分为4个部分
1. 基本信息填写
需要填写产品负责人,AB测试试验名,试验描述,以及期望的开始日期和结束日期。填写期望的开始日期和结束日期后,系统会检测当前试验开始时间与预期时间是否一致,如果晚于预期的开始时间系统会进行告警提示。同样的如果试验结论在期望的结束日期都没得到结论,也会通知业务方。
2. 综合质量评价指标
该模块提供了用于观察该AB测试的数据指标。
整个部分可以分为如下几个部分 A)是选择核心的观察指标,用于计算参与测试后的分组是否存在显著差异。 可以分为俩类:
a. 普通指标。如用户留存,用户人数
b. 核心功能整体整体转化率。如从功能a进入功能b的转化率。如果核心功能整体,必须开启核心功能转化跟踪。下面在介绍核心功能转化跟踪会介绍
B)首页目标指标。如果A选择了普通指标,那么这里必须要填首要目标指标。 另外还需要填写:
a: 预计波动的范围:所有试验组相比对照组的最小波动范围,如对照的组1日留存是20%,如果预计实验组可以提升到21%,那么这里的波动范围就是(21%-20%)/20%=5%
b:期望的置信水平:假设检验的专有名词,如果试验最终的结论落在这个置信水平内对应的置信区间内,我们可以想象试验组和对照组存在显著性区别。 这里我们还提供了一个小工具估算样本量和执行时间。
通过这个工具,预测的样本量和大概的持续时长。可以帮助我们在既定允许的实际范围内,通过分配合适的流量来快速得到结论 C) 其他目标指标 这里提供了其他观测该AB测试表现的其他指标。如:
D)核心功能转化跟踪
该功能用户描绘用户的使用功能的转化漏斗
这里的每个事件或者功能步骤来源于埋点管理系统。例如我们可以观测用户登录到体验推荐的转化漏斗,我们可以如这样操作:
E)事件/功能的通用指标。这个功能提供了从功能的角度来量化AB俩组的数据表现。例如 我的-打卡-按钮-点击 使用人数/使用人次
用户可以新增若干指标
这里的事件来源埋点管理系统,这里的事件指标来源于指标管理系统,通过指标管理系统我们在后续不断补充新的数据指标。
F)事件/功能的留存指标。从功能留存的角度来衡量参与实验的各组用户各个功能留存表现。
用户可以同时查看多个功能的功能留存。
3. 用户群选择
用户群选择包含俩部分:
a)测试上线的版本:标识该AB测试上线的版本
b) 用户维度的选择:结合用户画像,AB测试的发起者可以根据需要选择所需的用户群
4)流量分配
AB测试的发起者至少需要填写俩组,其中必须包含对照组a。每组需要填写流量占比,所有组加起来的流量占比需要100%。每组必填各组的业务描述和对应的任务管理系统的需求链接












