AB test就是协助我们衡量需求收益的好朋友

在产品做一个功能或需求时，听到最多的疑问就是：你这个功能/需求能带来的收益是什么？收益能有多大？那我们怎么去衡量一个需求带来的实际收益？这个时候，AB test就是协助我们衡量需求收益的好朋友。

一、AB test是什么？

专业术语说：AB测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是药物测试的最高标准）。自2000年谷歌工程师将这一方法应用在互联网产品以来，A/B测试在国外越来越普及，已逐渐成为互联网产品运营精细度的重要体现。

现实业务使用中，我认为AB test就是保证2组或多组根据条件限制划分的用户在只有1个变量条件情况下，对分组用户的各项数据指标进行汇总，对比指标变化涨幅来确定试验好坏，并且伴随数据分析去发现问题，解决问题的一个过程；

二、AB test的使用场景

产品UI变动时，AB一下新的UI是否会给用户带来更好的交互体验和视觉感受；

新增功能，想给产品增加一个新功能，AB一下新功能能带来多少收益，后期还值得公司投入多少资源去做这一块。

推荐系统中，首页推荐/搜索/推送业务都会用到AB test：推荐上用来对比一个策略、一个模型、甚至增加或减少一路召回、增加或减少一个特征、或强插一路新内容冷启动；搜索加一个推荐业务模型、上一个意图识别服务，建一个自定义纠错库；推送给用户推的频率、推的内容、推的时间等等，这些都需要AB试验去协助决策。

使用场景很多，以上只是我在工作实践中遇到的需要做AB试验的场景。凡是涉及到单一变量的数据对比，在用户进行维度打散的情况下，万物皆可AB。

三、AB test怎么用？

1. 在业务中的生效逻辑

AB试验，既可以做客户端试验，也可以做服务端试验，下面就根据客户端和推荐服务端和AB试验平台的试验流程来讲一下其中的区别和生效逻辑：

客户端试验（左图），主要是说用户请求推荐时，客户端主动带着用户信息（app版本号、渠道号、新老用户、用户onlyid）去AB试验平台上获取用户的试验配置，试验平台会根据用户的onlyid进行哈希分流（这个下面有讲到）。

然后将用户分进对应的试验组，客户端会把用户的试验信息存在本地，每次用户打开app时会再去拉取一次配置，然后带着用户配置请求推荐接口，推荐会根据用户的试验配置返回对应的推荐列表。

而服务端试验（右图），则是将客户端请求试验平台变成了服务端请求试验平台获取用户试验配置，再返回对应的推荐列表。

2种试验方式各有利弊，客户端试验不需要再经过服务端获取用户配置就能直接请求AB试验平台，逻辑上相对简单些，但是缺点是客户端依赖版本更新，版本迭代较慢，试验全量起来比较慢，不好控制。

服务端试验的缺点则是需要在逻辑上多加一层去请求AB试验平台获取用户配置，但发版较快且不受客户端版本更新限制，试验全量比较好控制。

2. 业务指标建设

通常，我们做AB试验的时候，都会根据当下试验新增几个试验指标，当然，所有的试验都会带上大盘指标。根据公司业务和规划的差异，各公司的大盘指标都会存在差异，电商类产品多关注点击率、成交率、留存以及GMV等指标。

视频类产品多关注渗透率（完播率）、转化率等，资讯类产品多关注点击率、转化率、留存等。一般都会关注的大盘指标就是留存，留存又分进组留存和活跃留存。

业务指标建设的时候，主要会根据这个试验的初衷来设