精细化用户增长案例(7):你真的搞明白ABtest了么?我看未必!

发布时间:2020-06-27   来源:摆摊40种新产品_摆摊的小本生意_摆摊卖臭豆腐赚钱吗   

ABtest越来越受到大家的重视,快速的、灵活的快速对比实验能迅速的找出问题所在,避免了大范围的资源浪╞费。所以设计一个好的实验是至关重要的。

一、A/B 测试是什么

简单来说,A/B测试在产品优化中的应用方法是:在产品正式迭代发版之前,为同一个目标制定两个(或以上)方案,将用户流量对应分成几组,在保证每组用户特◀征相同的前提下,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈,科学的帮助产品进行决策。

A/B测试的应用方式决定了它拥有的三大特性:先验性、并行性和科学性。

先验性:A/B测试其实是一种“先验”的试验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。同≈样是用数据统计与分析┕版本的好坏,以往的方式是先将版本发布,再通过数据验证效果,而A/B 测试却是通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论,۩这样就可以用很少⿹的样本量就能推广到全部流量可信。

并行性:A/B测试是将两个或以上的方案同时在线试验,这样做的好处在于保证了每个版本所处环境的一致性,便于更加科学客观地对比优劣。同时,也节省了验证的时间,无需在验证完一个版本之后再测试另一个。

科学性:这里强调的是流量分配的科学性。A/B 测试的正确▶做法,是将相似特征的用户均匀的分配到试验组中,确保每个组别的用户特征的♨相似性,从而避免出现数据偏差,使得试验的结果更有代表性。

二、A/B 测试的使用误区

误区一:轮流展现不同版本

首先需要明确,这种做法◈不是真正意义上的A/B测试。而这一现象,经常出现在如今的广ζ告投放的环节。广告主为了提升着陆页的转化率,会选择将不同的广告版本进行轮流投放展示。

但这一做法并不能保证每个版本所处的环境相同,例如选在工作日的晚七点黄金档和下午三点时段,受众群体会有明显区别,以至于最终效果是否有差异,甚至导致效果不同的原┍因是很难下定论的。

正确做法:不同版本方案并行(同时)上线试验,尽可能的降低所有版本的测试环境差别。

误区二:选择不同应用市场投放(随机选取用户测试)

对于一些已经意识到数据先验重要性的企业来说,为了验证新版本对于用户使用真实影响,可能会选择将不同版本打包,分别投放到不同的应用市场,当发现其中某版本的数据表现的最好,就决定将该版本全量上线。

更有甚者,会随机选取一部分用户(甚☎至是公司内部人员)进行前期试用,根据数据反馈决定迭代版本。这都违背了A/B测试的科学流量分配的原则,很容易造成辛普森悖论(即某个条件下的两组数据,分别讨论时都会满足某种性质或♯♮趋势,可一旦合并起来考虑,却可Б能导致相反的结论)。

正确做法:科学的进行流量分配,保证每个试验版本的用户特征相类似。

误区三:让用户自主选择版本

不少企业会在新版的页面上Э留下返回老版本的入口,让用户自主选择使用哪一版,通过收集返回按钮Ⅴ的点击率来判断最佳版本。但该思路不利于统计分析用户在新版的行为数据,因为用户离开新版本可能单纯是因为习惯使用♥老版本,而不是认为新版本的体验不好,最终导致了试验结果的不准确。

正确做法:让用户展现对不同版本的真实使用体验,企业则应实时关注各版本的数据表现,并根据数据反馈及时调整试验流量。

误区四:对试验结果的认知和分析过浅

这一误区又包括了两个不同的内容:

其一,认为只有当试验版本结果优于原始版本时,试验才算成功。事实上,A/B 测试是用于选择最佳版本的工具。试验可能出现的结果分为三种:试验版本有提升(试验版本最佳)、无明显差异(两版本均可)、试验版本的表现―比原始版本糟糕(原始版本最佳),这三种结果其实都说明了试验的成功。

其二,单从试验的整体数据结果❤,就推论所有场景的表现效果。例如,当A/B测试的结果表明试验版本的数据差于原始版本时,就认定所有的地区或渠道的效果都是负面的▨。

但如果细分每个版本中不同浏览器的数据,可能会发现:由于某一浏览器的明显劣势,导致整体试验数据不佳。∞因此,不要只专注于试验数据的整体表现,而忽略了细分场景下可能导致的结果偏差。

正┏确做法:在分析试验整体数据的同时,需要从多个维度细分考量试验数据结果

三、A/B 测试可以用在哪里

尽管A/B 测试可以弥补产品优化中遇到的不足,但它并不完全适用于所有的产品。因为A/B σ测试的结果需要大量数据支撑,日流量越大的网站得出结果越准确。通常来说,我们建议在进行A/B测试时,Ж能够保证每个版本的日流量在1000个⿻UV以上,否则试验周期将会很长,或很难获得准确(结果收敛)的ы数据结果推论。

说完什么样的产品适Ц合用A/B 测试,接下来我们将从优化内容和应用场▇█景两个方面说明A/B测试可以用在哪些地方,希望能给你一些启发。

优化内容

产品UI

不同行业的产品需要不同的风格,▦▩同时还要与企业的品牌相得∈益彰。利用A/B 测试优化UI能给用户带来更好的交互体验和视觉感☆受。

文案内容

顾名思义是指用户阅读到的文字内容,它贯穿一个产品的所有部分,小到图片配文和按钮文字,大ⓛ到⌒文章标题甚至版块主题。这些部分都可以尝试变换文案内容,测试不同方案的数据效果。

页面布局

有些时候,可能根本不需要对产品的UI或是文案内容作出调整,只是在布局排版上๑的改变,就可以出现增长的效果。

产品功能

想给产品增加一个新功能,可是很难确定是否能达到用户的预期,如果盲目上线,可能会造成一些∵损失。使用A/B 测试,对你的用户⊙真正负责。 例如:社交类产品在付费查看照片的新功能正式上线前,需要进行A/B 测试?,以验证功能的使用情况和效果。

推荐算法

包括基于内容的推荐算法(根据用户的历史记录推荐相似内容)、基于协同过滤的推荐算法(根据有相似兴趣用户的行为推荐相关内容)、基于关联规则的推荐算法(根据内ъ容本身的相关性给用户推荐),最〤终提高用户使用黏性。

四、应用场景

广告着陆页

着陆页作为互联网营销中流量的承接和转化的关键步骤,如何í让访客在看到◎广告(或营销页面)后点击进入着陆页,并继续保持对您的产品或服务的兴趣,乃至产生好感,最终完成注册、购买、分享等转化行为是十分重要的。A/B测试能够帮助你最大化你的营销ROI。

Web/H5 页面

除广告营销的传播外,产品的官网页面(不论是PC端还是移动端)始终是用户了解产品的重要渠道。因此,如何让用户更好的了解产品信π息,激发用户产生进一步行为意愿,从而得到更高的注册率、购买率、下载率等,是Web端页面优化的首要目标。利用A/B测试,可以在较少的成本支出下,找到页面的最佳展现方法。

APP用户体验

随着C端用户的└海量进入,产品的复杂度越来越高,新版本的决策风险也急剧提升,保持产品核心业务数据稳步增长是每个App的版本目标,通过A/B测试在每个版本正式发布之前验证版本的数据表现,让每次迭代都能得到确定性增长。

媒体广告投放与管理

对于媒体和广告技术公司而言,可以通过A/B测试实现由设Υ计与数据驱动的创新性广告产品的优化⊕。

一方面借助测试可以优化广告投放效果和广告资源填充率,以达到提升广告单价的目标;另一方面还能衡量现有广告产品对用户体验的影响,通过不断提高用户体验的广告产品,从而驱动更高的移动广告业务收入。

灰度发布

目前◙产品优化迭代的方式,通常是直接将某版本上线发布给全部用户,一旦遇到线上事故(或BUG),对用户的影响极大,解决问题周期较长,甚至有时不得不回滚到前一版本,严重影响了用户体验。A/B测试通过给小批量用户发放版本,有效减少全用户发生线上事故/重大BUG的概率,绝大多数用户对BUG无感知,最大程度保证了用户的良好体验。

五、总结

ABtest适用于用户量比较大的产品类型,提供的只是我们的一种工作思路,并不是神一样的存在,既不能高估也不能低估。

#相关文章#

精细化用户增长案例(1):低频高客单长决策下的优惠券玩法

精细化用户增长案例(2):教育行业转介绍裂变活动,分类分层降成本

精细化用户增长案例(3):高频低客单快决策下的零售优惠券Ⅵ发放策略

精细化用户增长案例(4):事件、留存、漏斗分析方法是什么?

精细①化用户增长案例(5):坑位运营中的产品优化策略

 

作者:白高粱;公众号:白高粱

本文由 @白高粱 原创发布于人人都是产品经理,未经作者许可,禁止转载。

题图来自Unsplash,基于CC0协议