欢迎访问

挂牌网站

用AB实验分析个人中心的首页改版

2019-08-11    

  由于电商APP的大改版,所以个人中心的首页也在改版队伍中。为了更加准确地找到首页改版的关键点,笔者采用了AB实验的形式,逐项通过各项数据指标进行分析,确定新版本改版效果。

  分析报告面向的角色是产品经理,挑选的分析场景是经常遇到的产品优化中的效果验证,使用的分析工具包括友盟+移动统计(U-App AI版)、内部数据产品。

  为配合电商App的大改版,上级也对个人中心的界面风格提出新的要求,因此也提出个人中心首页改版的要求。

  个人中心首页作为信息分流类页面,核心是快速将用户导航到所需的的功能模块。

  其次,除了导航到不同的功能模块,还提供商品推荐、引导邮箱验证等内容(重点在于效果复盘,前期需求分析不做赘述)。

  (1)优化个人中心首页的功能导航,使用户快速找到相应功能板块,降低个人中心的平均停留时间。

  (2)推荐产品改为铺开展示,增加个人中心首页推荐位产品曝光量,提高个人中心首页推荐位的交易量。

  (3)邮箱验证新增积分奖励提示,促使更多用户完成邮箱验证,提高用户邮箱验证数。

  新旧版个人中心首页同时在线,通过分流工具进行流量划分,保证实验中的新旧样本数量基本一致。

  AB实验期间,会根据既定的改版目标,重点监控AB版本核心指标的对比情况,以便调整AB实验的分流策略。

  为保证初期分流比例能使AB版本的测试会话数足够多,避免因基数过小出现对AB实验结果的误判,根据个人中心首页近一个月的流量情况,设定初始实验流量比例为20%。

  (即假设平均每日访问个人中心首页的会线%的比例参与实验,每个版本每日分到的会线 平均停留时间

  统计日期内,用户对该功能页面的平均使用时长情况;平均停留时间的大小本身并无好坏之分,根据具体场景评估平均停留时间大小的影响。(以文章页面为例,平均停留时间可能是越大越好;而对于导航类页面,用户能多快就多快找到自己想要的东西,平均停留时长是越小越好。)

  统计日期内,该功能页面是否会导致用户退出使用产品;退出百分比的大小本身并无好坏之分,根据具体场景评估退出百分比大小的影响。(以商品页面为例,退出百分比是越小越好,该类页面的作用还是在流程指引上,并不是流程的终点,要尽可能避免造成用户退出。

  而对于支付完成页面,用户已经达成既定交易转化目标,用户可能会退出产品,退出百分比是越大越好。)

  在后台注册后,然后在后台成功注册后再进行埋码,将“交易成功”作为事件埋点。

  同2.3,根据AB实验情况,效果达到预期优化方向,因此在后续时间里,逐步放大实验流量比例。过程中效果也依旧达到优化方向,直至完全放量,换下旧版本,换上新版本。

  效果观察期间,数据反馈情况依旧达到优化方向。因此,本次实验顺利完成,为便于后期迭代,下面进行改版的数据复盘。

  数据取自自研数据系统,对比时间段为11.05-11.13与11.19-11.27;28、29号数据由于样式发生变化,所以不纳入计算,已修复。

  采用的是自研数据系统的AB实验功能,实验的新旧样本数量相近,不考虑基数造成目标次数的差异问题。从上面数据来看,已满足改版的三个目标:

  从目前数据看,新版默认页平均停留时间为12.0s,相较旧版的18.0s降低了27%;同时页面退出百分比也降低35%,下降为2.00%。

  说明改版在降低用户页面平均停留时间的同时,也并未造成更多用户退出网站,反而是促使更多用户持续访问网站,达成改版目标。

  从目前数据来看,新版默认页交易次数为4,275,相较相邻周期旧版的交易次数3,340次提高了28%;达成改版目标。

  从目前数据来看,新版默认页邮箱验证数为3,755,相较旧版的邮箱验证数735次提高了511%,达成改版目标。

  从上面二维表来看,在自研数据系统的控制下,参与实验的新旧版UV数相近,但PV数出现较大的差异:在相近的UV数下,新版的PV数比旧版的要高出13.04%,平均浏览量达到3.45。

  这说明参与新版实验的用户会比旧版实验的用户更高频使用用户中心,促进用户中心模块的用户活跃度提高。

  PV即表示页面的访问次数,UV表示页面的访客数,但这里缺少了页面的UV统计,反应不了访客对页面的使用频率。例如注册页面较平时的平均访问次数暴涨,可能是注册流程存在流程使用障碍,如注册成功返回不成功,引起用户频繁刷新,可能导致UV不变,但PV暴涨。

  由于个人中心首页是定位于个人中心功能导航,所以在评判个人中心首页的效率上,是从停留时间越短越好的角度出发(一定范围内)。

  从上图看平均停留时间:页面平均停留时间波动比较大,但新版个人中心首页的平均停留时间大多时候都是比旧版的平均停留时间低,所以新版个人中心首页达到了降低页面平均停留时间的目标。

  从上图看退出百分比,可以看出页面的退出率也是波动比较大,其中新版个人中心首页的退出百分比也是大多时间低于旧版的退出百分比。

  这说明新版个人中心首页为引导用户进一步访问网站做出更大贡献,从而其它页面也得到更多的访问;另一个角度,在降低页面平均停留时间的同时,也并未造成更多用户在该页退出网站。

  从上图看页面跳出率,可以看出:用户在个人中心首页进行着陆时,新旧版本的数据表现基本一致,新版本并不能有效解决用户着陆跳出的情况,跳出率一般反映着陆页对用户的吸引力,促使用户进一步访问网站。

  1. 个人中心首页并不是常规用户的着陆页,可从这些用户的来源入手,为什么在用户中心着陆,再就来源进行分析;可能是站内用户重启会话的当前页面,但没继续访问就关掉页面了。

  2. 作为着陆页,用户读完后,是不是没有引导用户进一步访问页面或者用户没有找到他想要的东西;同时,如果考虑引导新增,需要考虑个人中心首页本身定位于功能导航页面。

  (暂不支持提供跳出率评估落地页效果,跳出率统计来自内部自研的数据系统。)

  目前网站的注册是没有经过邮箱验证的环节,只要是合乎格式的邮箱就能顺利注册成功,因此可能存在非用户使用的邮箱,加大我们对用户区分的难度。

  同时,个人中心的积分模块是需要邮箱验证才能开启。在新版的个人中心首页中,新增了邮箱验证的奖励积分提示,期望让更多用户去完成邮箱验证操作,上图统计的是用户点击邮箱验证的情况。

  可以看到:新版邮箱验证数远高于旧版邮箱验证数,伴随实验流量的加大(23号调至50%),新旧版的验证数对比越来越明显。

  截至29日,同样实验样本,新版邮箱验证数达3,755次,高出旧版邮箱验证数511%。

  交易次数对比的是实验上线天的数据对比,采用的是星期对比(比如19日是周六,那对比的也是相邻最近的周六),排除星期单量的周期变化带来的影响。

  可以看:在流量小初期,新旧对比还不是特别明显,在23号加大实验流量后,新旧间的交易次数对比就越来越明显。

  从上面二维表来看,实验上线.25%的推荐点击次数,从而促使更多用户进入推荐转化,促成更多的订单。

  可以看到,推荐位“猜你喜欢”及“秒杀”的点击情况较旧版都有明显增长,其中“猜你喜欢”增长最为明显,UV和次数分别达到了31.12%、35.44%。同时,“历史浏览”呈现下降的趋势,属于负增长。

  结合推荐位的位置考虑,“猜你喜欢”是属于第一屏,不需要切换即可查看,因此可以推测产品展示方式改为铺开展示后,虽然产品的曝光得到增长,但是也仅限第一屏的推荐位。基于“猜你喜欢”的点击基数大,所以也让整体推荐位的点击次数得到增长。

  同时,我们也发现:第一屏的推荐位会得到更高曝光,同时也会减弱用户对其它推荐位的注意力,从而造成非第一屏推荐位(即需进行Tab切换的推荐位)的点击发生明显下降。

  涉及对交易数据的维度拆分,采用的是触点归因(即分清每个位置实际带来的交易转化,而不是指经过这个路径或操作的用户转化,如Banner实际销售效果、文本链接实际销售效果、活动页面实际销售效果)。

  在这一块,友盟+提供的产品尚未满足对触点归因的支持,因此涉及对维度拆分分析的,采用自研数据系统,下同。

  从上面二维表来看,实验上线.40%的推荐交易次数,促成更多的转化交易。

  从上面来看,“秒杀”在改版过程中未做调整,只做了UI界面改版,可能是秒杀商品的折扣力度问题,引起数值波动异常。

  我们主要分析“历史浏览”及“猜你喜欢”两个推荐位,结合前面3.3.1的分析,我们可以看到“猜你喜欢”交易的增长速度和点击的增长速度相近,符合预期中伴随点击越来越多,成交也越来越多。

  同时,“历史浏览”的交易下降比例相较点击却低很多,而交易UV与点击UV的下降比例也相近,推测可能是有用户多次购买,从而造成交易下降比例不符预期。

  从上面二维表来看,实验上线天,新旧两版转化对比来看,UV的交易转化率基本不变,次数的交易转化率有13.67%的提高,可以推测新版促成了用户的多次交易行为。

  “秒杀”在改版过程中未做调整,只做了UI界面改版。也是主要看“历史浏览”及“猜你喜欢”的转化情况,可以看到“历史浏览”的转化率(4.65%)远高于“猜你喜欢”的转化率(2.09%),同时“猜你喜欢”的转化率并未因曝光增长而得到大幅提升。

  U-App AI版可查看用户访问路径,但存在不能就路径某个环节具体分析,拆分出站外引流和站内引流入口的数据情况,按照场景去分析页面的跳出情况,现有整体路径分析的入口如下:

  (2)作为着陆页,用户读完后,是不是没有引导用户进一步访问页面或者用户没有找到他想要的东西。同时,如果考虑引导新增,需要考虑默认页本身定位于功能导航页面。

  (2)结合3.3.1及3.3.2,我们知道“历史浏览”的点击和交易都是仅次于第一屏的“猜你喜欢”,但“历史浏览”的转化率却远高于“猜你喜欢”的转化率(两倍多)。

  因此,我们是否可以考虑将“历史浏览”作为第一屏,预期可以大幅提高我们在这的交易次数。

  作者:JM,从事互联网电商行业4年,其中3年数据产品经验,从0到1规划过访客日浏览量超千万的流量分析系统。

  本文为「人人都是产品经理」社区和友盟+联合举办的“2019「友盟杯」数据分析大赛”中获奖作品,未经作者及平台许可,禁止转载

  人人都是产品经理(是以产品经理、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位服务产品人和运营人,成立8年举办在线+期,线+场,产品经理大会、运营大会20+场,覆盖北上广深杭成都等15个城市,在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一起成长。www.4311111.com