下载我们的免费电子书,其中包括来自全球领先公司的43个A / B测试案例研究,以获取测试思想和灵感。 现在下载

优化博客

建立实验程序的提示和技巧

X

下载我们的免费测试工具包,获取A / B测试思路,计划工作表,演示模板等!

立即获取



没有假设的实验在到达时就死了。想象一下您开始了一次公路旅行。您收拾好了汽车,打了个播放清单,开始行驶600英里,但实际上您不知道要去哪里。

您记得离开前先加油,然后打包零食。但是您到达了一个目的地,这根本不是您想象的那样。

在没有假设的情况下进行实验就像开车只是为了开车而没有考虑您在哪里’重新前进,为什么。你’ll inevitably end up 某处 ,但是您有可能没有从中获得任何收益。

“如果可以的话’无法说明您进行测试的原因,那么您可能需要检查进行测试的原因和理由。”

布赖恩·施密特 ,转化优化顾问,CROmetrics

建立假设是进行实验的重要步骤。 虽然你 能够 设置并执行无人参与的实验,我们强烈建议您不要这样做。我们甚至认为 a 强大的假设与理解 统计学意义 您的结果(请参阅我们的 样本量计算器 for more info).

假设可以帮助您回答问题,为什么?

‘Hypothesis’ defined

一个假设是 您在进行实验之前创建的预测。它清楚地说明了正在发生的变化,您认为结果将是什么以及为什么会这样。进行实验将证明或​​反驳您的假设。

假设是粗体陈述,而不是开放式问题。假设有助于回答以下问题:“我们希望从该实验中学到什么?”,同时确保您已对计划执行的测试进行了研究和思考。

在这篇文章中,我们将向您展示如何制定出色的假设,它们如何适合您的实验计划以及如何区分强假设和弱假设。

假设的组成部分

完整的假设包括三个部分。声明如下:“如果是____,则为____,因为____。”变量,期望结果和基本原理是您的假设的三个要素,应在构建和设置实验之前进行研究,起草和记录。

A / B测试假设的组成部分。

图片来自 建立你的公司’s Data DNA 。 下载它 这里 .

让我们更详细地看一下每个组件,并看一个例子:

变量

可以修改,添加或删除以产生所需结果的网站或移动应用程序元素。

选择变量的提示: 尝试隔离单个变量 A / B / n测试 ,或选择一个变量 多元检验。你会测试一个 呼吁采取行动 ,视觉媒体,消息传递,表单或其他功能?网站或应用程序分析可帮助将网站或用户获取渠道中效果不佳的页面归零,并告知您应在哪里寻找要更改的元素。

例子 : 您网站上的主要号召性用语是 折叠以上 在您的首页上。为了进行实验,您将修改该变量并将其移动 折叠以下 确定访问者阅读了更多信息后转化是否会改善。

结果

预期的结果。这可能是更多的着陆页转换,按钮上的点击或轻击,或者是您尝试影响的其他KPI或指标。

决定结果的技巧: 使用现有的有关当前效果的数据来确定实验的理想结果。您要衡量的基准指标是什么?变量的变化会产生增量效应还是大规模效应?

例子: 也许您想要的结果是获得更多的转化,但这可能并不总是您想要的结果。您的结果可能是减少 跳出率 通过测试新的导航或推荐的内容模块。

基本原理

证明您已通过研究告知了您的假设。通过定性和定量研究,您对访问者有什么了解,表明您的假设是正确的?

制作原理的技巧: 证明您已完成实验作业。数值或直觉驱动的见解有助于制定测试背后的“原因”以及您认为将学到的东西。也许您从客户访谈中得到了帮助,从而提出了假设。也许您已经看到正在测试的变更在其他实验中的应用效果很好。尝试使用 定性工具 例如调查,热点地图和用户测试,以确定访问者如何与您的网站或应用进行交互。

例子: 在目标网页上测试新标题的理由可能是:从首页标题中删除您的公司名称将改善转化,因为我进行的调查表明我们的语言令人困惑。从反馈调查中借用客户语言将改善我们的绩效。

强假设的结果是什么?

深入研究的假设并不能保证会赢得胜利。无论结果如何(成功者,失败者或不确定的实验),它所保证的都是学习机会。

赢得变化?恭喜你!您的假设是正确的。如果您的变体没有定论或遗失,则该假设是错误的,这应该告诉您一些有关受众的有趣信息。

“当测试基于全面的研究和明确的假设进行测试时,您会在每次测试中了解自己的受众。我总是按设备类型,浏览器,流量来源和新访客/回访者细分测试结果。有时候,平均提升并不是要检查的最佳指标。通过细分结果,您可以找到真正的赢家。”

吉斯·维达 Catchi Limited网站转换专家

也许您是根据“传统智慧”提出的假设,或者阅读并 A / B测试案例研究 并决定将其复制给您自己的受众群体。变体丢失了,但是您和您的团队了解到,适用于其他网站和应用的内容不适合您。提出新的假设,并发现自己的最佳实践!

小费 : 记录您的研究和假设。在团队中公布实验结果时,请记住与假设一起分享关键实验指标。您的实验假设库将成为创建未来测试的宝贵参考点!

假设如何适合您的实验工作流程?

实验目标如何达到公司目标

制定假设以实现公司目标。图片来自 建立你的公司’s Data DNA 。 下载它 这里 .

根据 凯尔·拉什(Kyle Rush) ,Optimizely优化负责人,假设是每个测试的关键组成部分,应在确定实验目标后立即加以解决。这是他的实验过程:

  1. 确定目标和关键指标
  2. 建立假设
  3. 用样本量估算测试时间
  4. 优先考虑具有预期投资回报率的实验
  5. 对实验进行质量检查
  6. 设置测试直播
  7. 记录并分享结果
  8. 考虑重新测试

该过程的步骤1和4与假设创建同样重要。请记住 并非所有假设都是一样的。您的团队可能有一个有趣的主意,或者您试图解决时可能存在分歧,但这并不意味着它是最重要的测试。

确定优先级并进行测试 根据您的网站或应用中可能对业务产生重大影响的部分(收入,参与度或您要改善的任何其他KPI)进行分析。使用您的分析来识别这些领域,并专注于制定可以支持以下方面改进的假设这些区域。抵制仅出于测试目的而进行测试的冲动,并专注于对变量产生重大影响的更改。

“一切都始于假设。问:“我们认为我们可以解决移动业务的哪些业务或客户体验问题,为什么我们认为这些变化会影响某个指标?”最终,时间是任何公司最宝贵的资产…因此,我们首先拟订我们相信的假设,然后将这些假设与我们必须检验的所有其他机会进行优先排序。优化程序的成功与您识别将使针头移动的测试假设的能力以及您使用结果测试数据讲故事的能力最相关。”

马蒂·维斯诺(Matty Wishnow) 创始人& CEO, Clearhead

如何开始

这是您可行的备忘单:

为每个结果假设:通过思考实验的第一步,使每个实验都成为学习的机会。如果您的假设被证明是正确的或不正确的(在变式获胜,失败或平局的情况下),您将学到什么?

将数据构建到您的基本原理中: 永远不要为了测试而进行测试。您网站的每个访问者都是学习的机会,这是不应该浪费的宝贵资源。

将实验结果映射到更高的目标。 如果您的工作做得很好,则可以根据数据选择测试并确定其优先级以产生影响,那么此步骤应该很容易。您想确保实验会产生有意义的结果,从而有助于您的业务发展。您公司范围内的目标和关键绩效指标是什么?如果您的实验和假设是针对改善这些指标的,那么您将能够使团队专注于深入研究数据并建立强大的实验。

记录您的假设。 记录您运行的所有实验。这种习惯有助于确保历史假设可作为将来实验的参考,并提供一个论坛来记录和共享过去,现在和将来所有测试的上下文。

制定伟大的假设是随着时间的推移而学习的技能。您做得越多,就会越好。

 优化X