下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



寻求全球最大值想象一下,你爬山:如果你的目标是到达最高的山顶,而且你没有地图的范围,这可能不是一个好主意只是为了开始走近最近的斜坡。你会爬,爬上,然后最终达到一些高峰 - 然后是什么?如果这个峰值不是最高的,你将在哪里移动接下来?

在优化中,附近的术语,上坡峰值是 本地最大值,而遥远,最大的峰值是 全球最大值。优化中最重要的特征之一是 愿意思考大。对现状过于满足,可以导致太多的微调或炼油,而且没有足够的探索。 “细化”路径可能会导致您错过了可以通过“探索”方法所发现的最佳解决方案。勘探和改进

虽然细化可以将您的解决方案更好,但我们建议探索可能不像当前状态的多个替代方案。拥抱所需的谦卑和勇敢,“你知道,我们今天的网站远非完美。让我们尝试一些急剧新的布局,新设计和重新设计,弄清楚这些工作中的哪一个,然后从那里精炼。“

但是,这并不像说一个人应该始终探索一声并始终完善第二个。事实是,探索和改进是互补技术,并且在串联中使用时最有效。通常使用的过程 假设检验 对于细化,产生可以深入了解重新设计的关键见解。换句话说,有时你需要超越树行上方,看看更大的高峰位置。

如下: 实例探究 揭示,有巨大的胜利,思考大而且打开询问现状。在较小的测试中还有重要的启示潜伏,可以指出途中的重新设计。有时候测试是在混乱中找到真正的北方的唯一方法,并对重大变化混乱。

从现状中断:ABC系列

迪士尼在ABC系列主页上使用了优化的实验。

原版的

该页面向电视节目显示了大量促销,您可能会感兴趣。然而,在搜索日志浏览后,迪士尼数字团队发现很多人都在寻找表现和特定剧集的确切标题。该团队决定重新评估其整个方法,而不是采取增量方法(例如,调整促销图像或旋转特色展示)。他们创建了一个替代视图,一个不那么视觉和更多的层次结构,斗地主在线玩可以通过菜单来钻取到特定的节目。

变化

ABC Family AB测试获奖者

迪士尼定义为他们可量化的成功度量,点击实验页面的任何部分的访问者的百分比。他们的目标是将此参与提升10%至20%。事实上,通过对这一大,根本的变化开放,他们能够影响超过600%的参与度。

了解新网站的方式:Chrome Industries

当我与Kyle duford发表讲话时,随后在Chrome Industries,骑自行车袋和服装制造商的电子商务主任,该团队正在讨论重新设计的主要网站。 “我们在故意使用所有这些测试来制定我们如何接近新网站。”

Chrome团队在他们的时候发现了一些令人惊讶的东西 AB测试 在他们的主页上的三个促销内容块的顺序:他们放入中心块的内容似乎总是以胜过他们放入左侧块的内容。

Chrome Industries AB测试

Chrome Industries Promo Block Test-中间块大多数单击,无论内容如何。

团队的假设是因为人们从左到右阅读,他们会以这种方式探索。 “这是黄金,”杜福德说。现在他们知道将他们最重要的促销块放在中心,但更大的课程是斗地主在线玩似乎直截了可于中央图像,而不是扫描到右边。这是一个有价值的洞察力,最终可能最终改变了网站重新设计的整个新布局。 “外观和觉得会完全不同,但在这一过程中遇到的内容块的想法是通过这个过程发现的。”Duford说。 “虽然现在很重要,但了解人们如何商店,但更重要的是,因为它会通知我们的决定前进。”

重新思考商业模式:灯光

Lumosity是一个提供基于网络的游戏的公司,旨在改善斗地主在线玩的思维。他们的商业模式很简单:斗地主在线玩支付每月订阅费,以便访问神经科学家设计的游戏,以促进认知功能。斗地主在线玩定期从培训中获得最大的福利,并提高斗地主在线玩参与是一个重要的目标。然而,不直观的是浪费开发团队增加了这种指标的东西。

Lumosity的科学家推荐斗地主在线玩每天培训15至20分钟,每周4至5次 - 与体育锻炼不同 - 尽管该网站实际上并没有将斗地主在线玩限制为特定的时间限制。这些数据显示人们会留在数小时内,但随着时间的推移,登录的频率下降,建议斗地主在线玩正在燃烧。

该团队假设限制斗地主在线玩在一天内可以做的培训金额会随着时间的推移而改善参与。

为斗地主在线玩每天提供一个培训课程并祝贺他们在当天的完成时实现他们的目标。这种激进的改变最初是公司的紧张,包括当时的产品经理Eric Dorf,担心斗地主在线玩可以使用他们支付的服务的时间来限制他们支付的服务,这将使斗地主在线玩基础令人沮丧。 “我觉得,如果我为订阅付钱,我不允许尽可能多地训练,为什么我会为此付出代价?”他说。 “我记得思考,”天哪,我希望我们不会让每个人都惹恼。”

作为A / B测试的一部分尝试新模型,减轻了风险。该团队运行A / B测试,可根据有限的培训变异设置原始的无限培训。

原始Lumosity斗地主在线玩体验 - 无限的日常培训

新的储存斗地主在线玩体验 - 每日培训有限

结果震惊了埃里克和他的团队。斗地主在线玩在新模型中实际上培训了更多。 “图表太清楚了,”埃里克说。 “由于有限的结果,人们正在培训更多。”

在进行这一发现之后,Lumosity团队改变了他们的位置,建造和销售他们的计划。日常培训的信息是他们对斗地主在线玩的通信的基石。在此初步探索之后,该团队随后使用 AB测试 为了改进方法,找到最佳支持和加强日常培训的想法的信息和营销。

今天,当斗地主在线玩完成会话时,消息是“,”您已完成。你现在可以离开这个网站,“Dorf解释说。 “这不像很多其他博彩产品,希望你能花时间玩。科学家们很高兴,因为更多的斗地主在线玩比以前更携带训练。”

说服他人大的提示:

  • 拥抱这句话,“it’只是一个实验。” The idea you’它建议不是永久性的,它’一个实验。加强这个想法将帮助您说服别人尝试一个新的想法并设定预期,如果实验经常这样做。
  • 关于交通一小部分的实验。如果其他人担心推出实验,请通过试验较小的交通小组来平息恐惧。只要记住,您所拥有的流量越少,实验所需的时间就越长就是统计学意义。
  • 找到你的冠军。 如果您有另一种语音根源,则实验可能更容易实现。

你有没有运行过 大,无所畏惧的测试?或者有经验说服你的团队经历无所畏惧的考验吗?我们’d喜欢听到他们!请分享下面的评论。

这个帖子的版本首先出现在 A / B测试:最强大的方式转向客户 由优化的联合创始人Dan Siroker和Pete Komen。

优化X.