数极客首页

关于A/B Test的那点事

关于A/B Test的那点事

a/b测试的作用大家都知道

,就不多说了,在这里写写我在平常
工作中应用心得。

在我的业务线平常
应用A/B的场景:A大多是曾经
在线的一个产品,而B是一个我们将要上线的另一版本的产品(有可能是改进

也有可能是推倒重来的),由于
直接经过
B去交流

A可能用户一下子接纳
不了,所以我们会切部分

用户出来用B版本,上线一段时间后,搜集
用户的反响

,再去调整,逐步

去交流

运用
A的用户,这样做能让用户更平滑的接纳
。别小看这个过程,其实有很多战略
可考究

了。说说我的真实阅历

关于A/B Test的那点事

之前做【AE卖家后台首页改版】的时分
有两种计划

做A/B测试,第一种:直接切20%的流量体验新版后台(依据

帐号数随机切20%的用户登录就跳转到新版),不提供【返回旧版】入口,另一种切50%的流量让用户体验新版后台,但是要提供【返回旧版】的入口。

第一种计划

相对比

激进
或者说谨慎

,由于
用户不能回到原来熟习
的页面中去运用
,特别是在后台(执行任务为主)一旦用户有比较

紧急和重要的任务要做(比如

编辑产品、发货、回复询盘),会十分

影响他的效率,从而直接带来一些不理性的反响

。益处

:假定

产品的改版是方向性的(就是商业决策上一定要这样去改了),那经过
这种计划

一步步切流量,整个过程还需求
和用户沟通解释,就能有个较平滑的过渡,比如

网站首页的改版、SKU项目。

第二种计划

就比较

开放,由于
用户有【返回旧版】的入口,用的不爽能够

回去,而且被测试的用户基数较大,这样得到的反响

相对来说更有定量的价值,容易发现同类度比较

多的问题,相对来说反响

内容也比较

理性充实,我在群里、网上、上门跟用户聊的时分
他们大多都说出关于
不爽的很多细节。

当然这两种计划

都基于一个很重要的前提,改版前做好功课:处置

的问题和用户希冀
匹配度要高,准,而且第二种特别
。写到这里大家应该能看出我最终选择了哪种计划

做了【AE卖家后台首页改版】。

对了,第二种计划

还能给我们一个很重要的结果指标,就是用户在A/B版本的存留人数,再来看个当时【AE卖家后台首页改版】review数据图。

此次运用
A/Btest的中止

测试,新旧版各50%的用户,在新旧版头部布有切换按钮,用户在下次登录ME时会自动进入上次退出地的ME版本中。

关于A/B Test的那点事

总的来说新版上线后,用户随着一个时间段的体验和顺应
,新旧版的的存留上是五五开。

新版由于链接数上有所简化,所以PV对比

上会略低,而新版Session在近一周有所超越旧版的迹象。

经过
存留比能很好的反映用户最终的接受

度,同时也是作为判别
产品是抵达

足够交流

旧版的一个重要指标之一。

这里再提一下关于
改版类的A/B测试还有一大利器就是热点散布

图,基本

能很直观的表现出用户的焦点功用
能否在一屏内看到,操作到,尽量少的需求
滚动。

关于A/B Test的那点事

当然每个产品状况

不同不一定是看相似

的指标数据,但在做A/B前梳理分明

上线后经过
哪些数据来权衡
是十分

重要的,权衡
哪些指标,我们UED也最好能主动和PD一同
去讨论,毕竟有些指标数据能指导、影响我们的计划

和看问题视角。

当然A/B测试还有很多种用法和分步实施

计划

,测试出的结果也会有很多有意义
的解读,项目做的多了,思索

的多,遇到的问题多了,都能感受的到,以上只是举了个简单的例子。

A/B测试和PD

写到这个标题,是我想到了很多时分
UED在PD沟通计划

呈现
分歧时,最终会提出做A/B测试,这自身

没错。但我在和PD们聊过这个问题时,他们有时分
会有一种较负面的觉得
:这么小的一个需求还要做A/B哪有资源和时间,觉得
这成了障碍
他们项目进度的一个绊脚石。可能我们只是想证明自己

更对,并没有那种意义
,但假定

对方有了这种感受其实很不利于以后的协作
的。

我的一点点见地
就是,假定

项目是很重要和关键的改动,我们尽早提出该项目需求
做A/B测试(PD也会比较

谨慎

的,最好你还能提出怎样
去做A/B测试的倡议

计划

更nice),规划到项目整体资源中去,而不是在项目KICKOFF后,大家都完成了评价
开端
执行了再来提。假定

是些小改动影响不大,计划

不时

纠结不下,哪我倡议

我们大度点让让TA们吧,最终
真的他们错了,补偿

的本钱
也不会太高的。这点是我们需求
留意
下的。

以上只是个人心得,虽不能适用大家的工作场景,但触类旁通

,希望带给大家一点点思索

,就算没糜费
大家读到这里了。

来源:aliued

给大家举荐

我国新一代大数据用户行为剖析

与数据智能平台:数极客(https://www.shujike.com),是支持无埋点、前端埋点、后端埋点、API导入四种混合数据采集方式,整合剖析

用户行为数据和业务数据,能够

自动监测网站、APP、小程序等多种渠道推行
效果剖析

,是增长黑客们必备的互联网数据剖析

软件。数极客支持实时多维剖析

、漏斗剖析

、留存剖析

、途径
剖析

等十大数据剖析

办法

以及APP数据剖析

网站统计网站剖析

小程序数据统计用户画像等应用场景,业内首创了六种提升转化率的数据剖析

模型,是用户行为剖析

范畴
首款应用定量剖析

与定性剖析

办法

数据剖析

产品

发表评论

评论已关闭。

相关文章