下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



它需要很多流量以获得A / B测试的统计学显着的结果。像Google和Facebook这样的高流量网站应该a / b测试一切,但低流量网站应该’t bother. If you’你是一个启动或b2b公司,你’更好地依靠定性反馈和直觉。

至少那个’什么论点是如何。但我想提供不同的视角。 我认为低交通网站应该是A / B测试,不仅因为这样做具有巨大的文化效益(如民主决策),而且因为A / B测试确实适用于低流量站点。

首先,一个故事:2013年,优化正在考虑改变其定价。作为我们研究的一部分,我们对潜在客户进行了调查,并在1面试中做了1次,甚至是RAN焦点小组。我们录制了所有这些,我看了所有的镜头。在其中一个焦点小组中,促进者将我们的旧定价页面的副本与参与者一起使用。一个人看着打印输出,愤怒地说,“我讨厌这个。每次我看到‘contact sales’ I think I’我要乘车,所以我’LL永远不会点击此按钮。

焦点小组没有’T最终生产有用的定价信息,但它确实导致测试理念。如果我们改变了什么,会发生什么“contact sales”按钮在我们的定价页面上阅读“schedule demo”?我们的销售流程当时工作的方式,我们的销售团队在第一个通话中展示了你,所以语言的变化不是’不诚实。以下是结果:

联系销售 vs schedule demo results

点击on ..‘contact sales’ vs. ‘schedule demo’ results

如你看到的, 我们观察到转换的提高300% (通过这种简单的语言改变,与我们的销售团队一起调整的人。我们对平均进行此测试的页面 每天636次访问 我们在一周内得到了统计上显着的结果。

该测试也不是一个异常值。以下是我们最近在我们的帐户创建模态对话框中运行的另一个测试结果。收到的模态对话框 133每天访问 当我们运行测试时。在测试中,我们删除了输入密码并确认密码字段,选择往自动分配的密码,用户被迫重置,当他们回到优化时:

帐户_created_succescle_shorter_account_create_form.

帐户成功创建

尽管流量低,但我们在一周内得到了统计上显着的结果,观察到了我们最重要的漏斗目标之一的提高超过18%。

这些结果特别是优化公司或优化 数字体验平台。这是一个测试我跑了 Mulesoft. 2010年使用Google网站优化器,A / B测试产品已被取代以来 谷歌优化。 Mulesoft(AN. 集成平台)当时确实接受了大量的交通,但特定页面此测试仅在收到的情况下 每天75次访问。在A / B测试中,我删除了选择一个状态和国家/地区表单字段,并用GeoIP数据替换它们。在不到两周的时间内,我们在统计学上显着显着,观察到提高超过40%:

DesightBase AB测试(2)

Mulesoft的A / B测试结果(以Mulesoft许可转载)

这些测试移动了针对核心商业指标的针:演示要求,新帐户,新的引线。显然,启动和B2B公司可以在低交通页面上实现有意义和统计上显着的结果。 关键是测试将产生重大影响的东西。在优化之前探索。在增量改进之前尝试一个重大差异。选择有意义的目标,唐’t复杂测试。

有一个关于Marissa Mayer测试41种蓝色的故事,用于谷歌的超链接了解哪些有最高的CTR。确实,低流量网站无法执行这样的测试,其中流量在许多变体中分开,最小可检测效果是微小的,但低流量站点可以是真的’通过A / B测试获得真实的胜利。他们能–您可以从这些示例中看到,A / B测试确实为低流量站点工作!

特别感谢 Cara Harshman 为她对这个博客文章的贡献!

优化X.