船舶越快,风险越来越少。获得优化的推出,为开发人员提供免费功能标志。 建立免费账户



创造更快,更加引人入胜的现场体验通常需要在业务的各种收入流之间进行权衡。从更多录音用户的转换可以增加,而不是抵消广告收入的任何损失?它是一个大胆的赌注,Realtor.com的分析和实验团队在2018年初开始回答。

更快的经验是更好的体验

作为一个数字第一的业务,Realtor.com取决于提供用户体验,可以快速提供客户想要的东西:房地产列表,帮助人们进入他们的正确家。

该网站提供房地产列表以及地面属性和房地产商的广告。何时对去年的网站速度迅速的担忧,负责分析和优化的团队开始考虑将其网站上的数字广告减少为加速现场性能的一种方式。他们担心的是,数字广告通常可以在桌面和移动设备上减速网站,并且慢的站点速度通常会影响消费者的经验和转换率。

如果没有在网站上越来越多的广告展示位置的设计约束,该团队还将获得更灵活的继续进一步优化,从而消除他们可以提高用户参与和转换率的程度。

Realtor.com网站在一系列测试之前减少广告。

Realtor.com网站针对客户体验和速度进行了优化。

假设:减少广告将在转换升力中支付

随着服务器端测试的优化完整堆栈,他们开始测试他们的假设:更具战略性的广告安置将加快网站并开辟网站设计改进的机会。由此产生的加速用户增长和转换率收益的益处将超过抵消损失的广告收入。

Analytics团队建立这次测试,Jayakrishnan Vijayaraghavan,Trupti Kankaria,Neha Dhomne,Vijay Taneja和Saurabh Kumar,为努力制定了数据驱动的假设。首先,他们需要证明该公司不会从较少的广告中赔钱。然后,他们可以通过不断优化客户体验,为团队进行长期收入增长。

实验设计挑战

为了使他们大胆的想法进行风险,该团队必须解决两项重大挑战对实验设计:

  1. 用科学严格的方法测量用户生长影响
  2. 在长期测试期间定义和控制广告业务的收入影响

传统的A / B测试方法适用于测量转换率,参与和其他操作指标。

但是如何衡量用户的增长, SEO影响,用标准A / B检测方法,口中的单词增加了绝对的引线?通过标准随机化,用户在控制和测试之间同等地分开,使得该方法无效地测量用户在一个变异中的用户生长相比。此外,同一地理位置的用户可以很容易地看到不同的经历,这使得不可能确保当用户涉及朋友或家庭成员时,他们会看到与推荐人相同的经验。

基于用户的随机化可能导致用户在类似地理位置中的用户经验,谁从他们的朋友和家人看到了不同版本的网站。

标准A / B测试的第二个原因不是Realtor.com的选项,是他们的广告是由地理出售的。通过标准A / B检验,如果广告占地面积发生变化,所有广告商都会受到影响。如果团队可以将测试限制在某些地域,那么只有这些地理位置的广告商子集会受到影响,缩小与在测试期间受影响或需要重新协商的广告商的合同数量。

用并联随机化设计基于地理基铲斗的方法

分析团队设计了一种解决方法来衡量这种巨大变化对用户增长,SEO影响和绝对领导的影响。

首先,他们研究了使用基于地理的聚类来识别人口大致相等的状态群体并表现得同样。但他们很快就意识到了传统聚类技术,他们最终会有所组织,其中包括在他们内部的个人表现得同样,但跨集群的集体组行为不一定是相似的。

所以他们转向并行化。它们设计了一个计算美国国家的20亿平行随机组合的过程,其目标是在52周期间在转换率方面表现出3种不同的状态。理解,他们永远不会以完全相同的转换率获得组合,他们专注于发现随着时间的推移在转换率上移动的状态的组合,维持恒定方差。

同时,它们在这些样本组的几个限制下运行:

  • 每个桶都需要包含30-35%的用户群,以限制对广告收入的影响
  • 他们不得不控制季节性的影响。该系列测试该团队计划运行将发生在至少6个月内,因此这些群体需要在很长一段时间内行事。

通过并行化进程,他们能够在一小时内获得初始结果。

一旦Vijay和Trupti在100个看起来最好的组合中归零,他们通过先前A / B测试的结果耗尽了它们,提出问题:“我们在基于Geo的过去测试用户中看到的升力是相同的作为我们在基于用户的随机化模型中看到的内容?“

该团队选中了展示同样电梯的国家级分组 后卫测试 在多个过去的测试中。一旦为各组识别各州的组合,Gourav Tiwari,项目的软件工程引导,配置 优化完整的堆栈 因此,为每个组都适当地标记用户及其活动。他还设置了在基于Geo的测试组中运行多个基于用户的测试变量的功能。这有助于该团队增加了迭代思想的测试和速度的速度。

使用相对变化分析方法来确定影响

正如他们开始运行这一系列的测试,那么该团队需要更强大的分析方法。鉴于群体与转换率不匹配,但在季节性方面(它们一起移动)相似,他们转向基于“差异差异”或相对变化,方法的结果分析它们的结果。在这种方法中,他们只在查看自然发散或治疗组之间的差异上看电梯。使用相同的方法,团队通过测量州的测试和控制组中用户的百分比贡献之间的差异来量化用户增长。

结果:增长和转换增加

经过6个月的迭代后,该团队在用户的增长和转换方面看到了巨大的改善。他们说服了管理层,努力正在偿还,即仍然还有甚至进一步发展的空间,他们能够更广泛地推出新的经验。

Analytics的VP vijay taneja表示,使用优化完整堆栈的A / B测试,该公司能够验证这样的大型举措,以及是否“在正确的地方进行投资。我们也在迭代,我们也在迭代’在我们的结果中更充满自信,我们在货币化和消费者参与方面都向组织提供了大量的价值。“

 

 

优化X.