Target：

使用该AB测试，您预计能够在下面列举的方面得到提升

1. 对AB测试的流程进行管理，能够直观看到在新建，待评审，就绪，运行中，已结束的各个任务。对目前公司各个项目的AB测试有个全局的认识
2. 可视化单个AB测试的生命周期，用户可以预先安排上线的实际，结束的实际，系统会对事件情况调整实际的上线时间和结束时间，这一切都可见
3. 自动进行显著性分析。根据预算的核心指标进行自动计算A/B测试各组结论的显著性。
4. 自动生成数据大盘报表，方便跟踪AB测试的数据情况。系统会根据创建试验时预设的指标，自动生成数据大盘
5. 主动反馈，快速反馈。每日会根据现有的数据表现，生成AB测试日报推送到给业务方。另外在AB测试每次改动都会主动推送告知业务方

Blocks:

整个AB测试能够成功落地，还是依赖无觅近一年半以来平台、数仓以及中台的建设，所提供各种各样的脚手架/系统，整个关系如下图：

实时用户画像系统：提供了可供进行任意标签组合的用户群。作为AB测试实验的基础
埋点地图和埋点管理：提供针对具体AB测试需求的可视化埋点，保证埋点定义的唯一，准确，避免漏埋，错埋
维度管理系统和指标管理系统集合实时数仓：能够根据预定义的指标生成数据大盘，方便用户快速各种明细统计数据
实时数据服务和在线显著性分析算法服务：提供了统一的数据标准，用于计算AB测试服务的显著性。
实时告警服务：实时反馈AB测试的变动，已经每日的测试后进展

Progress：

整个AB测试的流程分为4个部分

1. 基本信息填写

需要填写产品负责人，AB测试试验名，试验描述，以及期望的开始日期和结束日期。填写期望的开始日期和结束日期后，系统会检测当前试验开始时间与预期时间是否一致，如果晚于预期的开始时间系统会进行告警提示。同样的如果试验结论在期望的结束日期都没得到结论，也会通知业务方。

2. 综合质量评价指标

该模块提供了用于观察该AB测试的数据指标。

整个部分可以分为如下几个部分 A）是选择核心的观察指标，用于计算参与测试后的分组是否存在显著差异。 可以分为俩类：
a. 普通指标。如用户留存，用户人数
b. 核心功能整体整体转化率。如从功能a进入功能b的转化率。如果核心功能整体，必须开启核心功能转化跟踪。下面在介绍核心功能转化跟踪会介绍
B）首页目标指标。如果A选择了普通指标，那么这里必须要填首要目标指标。 另外还需要填写：
a: 预计波动的范围：所有试验组相比对照组的最小波动范围，如对照的组1日留存是20%，如果预计实验组可以提升到21%，那么这里的波动范围就是（21%-20%)/20%=5%
b:期望的置信水平：假设检验的专有名词，如果试验最终的结论落在这个置信水平内对应的置信区间内，我们可以想象试验组和对照组存在显著性区别。 这里我们还提供了一个小工具估算样本量和执行时间。

通过这个工具，预测的样本量和大概的持续时长。可以帮助我们在既定允许的实际范围内，通过分配合适的流量来快速得到结论 C) 其他目标指标 这里提供了其他观测该AB测试表现的其他指标。如：

D）核心功能转化跟踪
该功能用户描绘用户的使用功能的转化漏斗

这里的每个事件或者功能步骤来源于埋点管理系统。例如我们可以观测用户登录到体验推荐的转化漏斗，我们可以如这样操作：

E）事件/功能的通用指标。这个功能提供了从功能的角度来量化AB俩组的数据表现。例如 我的-打卡-按钮-点击 使用人数/使用人次


用户可以新增若干指标

这里的事件来源埋点管理系统，这里的事件指标来源于指标管理系统，通过指标管理系统我们在后续不断补充新的数据指标。
F）事件/功能的留存指标。从功能留存的角度来衡量参与实验的各组用户各个功能留存表现。

用户可以同时查看多个功能的功能留存。

3. 用户群选择

用户群选择包含俩部分：
a）测试上线的版本：标识该AB测试上线的版本
b) 用户维度的选择：结合用户画像，AB测试的发起者可以根据需要选择所需的用户群

4）流量分配

AB测试的发起者至少需要填写俩组，其中必须包含对照组a。每组需要填写流量占比，所有组加起来的流量占比需要100%。每组必填各组的业务描述和对应的任务管理系统的需求链接