当前位置: 首页 > 方法工具 > 正文

A/B测试,让改版更有说服力

一直以来我都被网站改版的效果评估所困扰,因为负责产品设计的部门同事每次稍大一点的改版,都会让我们这些数据分析人员来评估改版的效果。就我自己而言,作为一名数据分析着也很乐意去干做些事情。但是因为网站前后端架构以及数据获取能力的限制,虽然能够获取的数据比较多,但是就某一功能点的改变的效果评估真心令人着急。每次只能从改版前后的整体的情况来分析,这样做不可避免地被很多干扰因素影响结果的准确性,最后得出的结论报告,自己都不能说服自己,还要有些违心地让别人去接受这样的结论。

当然工作任务是工作任务,本着对数据分析的操守,我还是很希望公司的产品和技术开发人员在改版评估的技术架构上能有新的突破,特此写了这篇有关A/B测试的文章,也权当是自我提高一下吧。

一、什么是A / B测试?

A/B测试,有时又称为对比测试,该方法用来两个版本的网页哪一个表现更好。简单地说就是我们通过给相同时间访问的相似来访者呈现出不同两个(也可以是多个)版本的网页,看哪个版本的转化率更好,表现好的那个版本就是我们需要的。

AB测试-1

这种对改版效果评估的方法,如果实施时严格遵守操作要求的话,准确度要远比常见的通过对比改版上线前后指标变化的方法要准确的多。

为什么这样说呢?

首先我们介绍一下最常用也是最简单粗暴的改版评估方法。这个方法大家都会,以致我真的不知道该怎么称呼它了,姑且就叫“前后对比法”吧。简单的介绍一下该方法的操作过程吧:

  1. 记录改版前一段时间内老版本网页的指标数据,标记为T0;
  2. 新版本正式上线,继续记录新版本网页的指标数据,标记为T1值;
  3. 比较新老版本网页的指标数据,核查指标的变化情况,确定新老版本的好坏。

乍一看这个方法挺好的,没啥问题。但只要接触过数据运营方面的人都明白,基于时间的数据,由于时间的迁移,很多不可控的因素也必将随之而来,比如访客的数量、质量在随时随地的变化,房客本身也会不断的变化,而且还有很多各种运营活动的刺激干扰,自然周、日作息时间等太多太多无法控制甚至无法评估的干扰因素,使得这种改版效果变得不够准确,甚至与实际情况相反,当然最后得出结果也不够有说服力。

那什么是A/B测试呢?

其实A/B测试理解起来并不难,就是让新老两个版本同时存在,A为老版本,B为新版本。然后将同一时间(或访问时间点很接近的一批)来访者随机分成两组,分别让这两组访客访问A、B本版中的一个。然后比较、评估两个版本的数据指标,最后选择指标数据表现好的那个版本。

AB测试-3

这样以来,因为A、B两个版本因为几乎同时呈现给了两组访客,所以消除了与时间相关的影响因素,这一点也是A/B测试原理的精髓所在。

但是,由于我们的目前是要评估版本不同而反应在数据上的变化。因此尽量保证两组用户是同质(即两组用户没有本质上的区别,可以看作是完全一样的两组)的。这一点也是在A/B测试实践中要严格遵守的法则,否则做出来的结果是不可靠的。

二、A / B测试可以用来测试哪些东西?

要选择什么去测试取决于你的目标,如果你的目标是增加注册会员的数量,那我们就需要弄清楚是什么原因让访客放弃进一步注册成为会员这个行为,是因为需要要填的东西太多了,没完没了么?是因为你设置的选项给访客一种不安全感觉么?还是因为表单上的文字让访客觉得太过强硬。那么你可能需要在注册流程的长度、字段的设置、表单数量、注册的表单的语言措辞等方面进行测试。所有这些问题都可以通过A/B测试获得答案。

每个A/B测试都是独特的,具有针对性的。可以用来测试可以是以下方面:

行为按钮的措辞、大小、颜色和位置;

标题或产品说明;

界面的风格和布局;

产品定价或促销活动提示;

图片属性以及布局;

……

一句话概括:凡是访客可以看到、听到、感受的内容或者属性都可以使用A/B测试。

三、A / B测试需要注意什么?

1、上面也有提到,A/B测试的关键点在于将访客进行同质进行划分。同质就要求不对访客进行区分对待,一视同仁,随机分配。

2、A/B测试对访客量的要求比较严格,假如你的网站日IP达不到1000的话(这个数值不是硬性规定),最好不要去做A/B测试。基于统计的原理,样本数据量越少,结果越不稳定,越不可信。

A/B测试的核心思想就是在只改变一个变量因素的条件下,去评估该每个不同变化的反应值。该思想原则源自实验设计,因此不光适用于网页改版,在很多类似的情况都可以用得到。

如果能把握好这两点,那么您就可以尝试做一做A/B测试了。至于如果实现方法我将在下一篇文章中通过转载他人的文章,给大家分享。

 

参考内容:

https://visualwebsiteoptimizer.com/ab-testing/

http://www.360doc.com/content/13/0216/23/9350055_266041997.shtml

 

本文固定链接: http://datakung.com/?p=102 | 数据控

版权声明:本原创文章由 数据控 于2013年10月27日发表在 方法工具 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
转载请注明: A/B测试,让改版更有说服力 | 数据控
关键字:

A/B测试,让改版更有说服力:等您坐沙发呢!

发表评论


快捷键:Ctrl+Enter