下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



欢迎来到第一次安装询问实验者,这是一个新的系列,我们采访了他们如何在他们公司构建实验文化的专家。我们的第一次采访与Claire Vo,优化的产品VP。

告诉我们一些关于你自己的事。

我是优化的产品的VP,监督我们的产品和设计团队,并与我们的工程集团密切合作,以提供世界上最好的实验平台。我一直在运行实验计划,是公司的首席执行官和创始人( 实验引擎 )完全专注于扩展企业实验。我也是对确保我们的产品和工程团队采用实验最佳实践并在优化的方案上进行的责任人。

“实验”对你意味着什么?

对我来说,实验只是使用数据来验证一个想法的过程。

在商业中,这个想法通常是“这将使我们更多的钱”或“用户会喜欢这个功能”或“这款新产品赢了’打破了一些东西。“如果您尝试,您可以让数据告诉您这些陈述是否为真。如果你不这样做—你只是猜测。

谁在你的组织中运行实验?想法来自哪里?

有两支球队在优化的情况下经营大部分实验。我们的营销团队专注于 www.wqfugm.icu. 并在我们的领先发电漏斗和我们的产品/工程/设计团队上运行个性化运动和实验,他们更加关注增长,参与和产品质量。

自从我运行产品团队以来,我更多地关注在我们的核心应用程序上运行的实验,优化X Web,全堆栈和程序管理。对我来说重要的是,每个人都在优化从事我们的实验计划,特别是产品经理,设计师和工程师。因为我在实验中处于如此高价值,所以运行更多的实验并驾驶采用实验实践是我年度目标的关键部分。我以优化的优化和速度衡量了我们在这里优化的广度和速度,并在我们的领导团队季度向这些指标报告了这些指标。

正如我们首先开始加速我们的产品实验,我们的产品经理来自我们的产品经理。他们根据用户采用度量跟踪自己的性能,实验是一个明显的方法来弄清楚杠杆移动的东西。我已经说过 转换优化是程序管理,所以我们的PMS在优化时,我们的PMS已经建立了巨大的测试创意。

据说我们开始在想象的过程中从团队中获得更多的参与。我们使用优化的程序管理作为捕获假设的中央工具,而工程师和设计人员正在以增加的速度提交测试以进行测试。另一个伟大的想法来源是我们的技术支持团队,他们将他们的想法直接从他们与每天交谈的客户那里。

什么是您的实验工具包或堆栈?

我们使用Optimizely X Web和全堆栈来测试我们应用的所有部分。我们使用客户端测试来启动快速实验,运行个性化运动,通过扩展进行低摩擦测试。我们实际上构建了一个完整的可配置扩展工具包,专门用于解决新产品可发现性;这为我们提供了一种简单的方法,可以为最近推出的功能添加“新”徽章和完整页标记。

对于更复杂的实验,我们在我们的JavaScript和Python SDK上使用完整堆栈。像我们的许多客户一样,我们最近还升级到我们的2.0 SDKS以利用 功能卷展栏和环境 。对于获得实验的工程来说,这一直很棒,因为现在将门出门的一切都被设置为可以逐步推出的功能(这是一个方便的借口 玩Ludacris. 在我们的每周发布审核。)

正如我所提到的,我们也使用优化的程序管理,所有观念,协作和知识份额。所有想法都进入了我们的“优化产品”团队,在计划管理中,每周审查它们。我最喜欢的关于使用计划管理的团队的一部分即将到来看到不同实验理念的分数和评论。我们的程序管理实例相当高昂(一个人希望所以,给出了我建立了平台!),所以我们使用很多功能,如标记,自定义字段,程序报告和附件评论,以保持自己组织。

当然,数据对于任何团队产生假设和审查结果很重要。我们使用段来介绍我们所有的应用程序跟踪(除了我们的应用程序数据库的真理来源。)我们在数据仓库PMS查询中有所有这些数据直接发现有关用户行为的见解,并开发假设进行测试。像我们的设计师那样减少技术用户,在Google Analytics这样的工具中查看此数据。

我认为合作和透明度对于建立实验文化至关重要。我们从计划管理中的所有活动都被派入Slack,因此整个公司可以跟踪正在发生的事情。我们还有一个专门的懈怠渠道,用于讨论实验,获取团队的帮助和协调实验。

最后,我在我们的实验堆栈中最喜欢的工具:我们的巨型白板,其中包含了一季度的所有实验的编号列表。我喜欢看这件事在几个月内填满了这一点,看看它是有趣的,看看它是如何激励球队来击中实验速度目标。

你见过的最令人惊讶或不完全的结果是什么?

我一直在运行产品团队很长一段时间,能够将数千个实验视为实验引擎的首席执行官。我已经意识到了多年来,预测测试中会发生的事情几乎是不可能的,你可以浪费很多情感能量(和时间在会议中争论)试图猜测会赢得什么。这就是为什么当我建造的时候 节目管理评分框架 ,我放入了“爱”的组成部分。它让人们说出他们对可能工作的看法的看法,而不花太多时间讨论它。

所说的,我从未见过橙色CTA表现更糟。第二个我看到一个橙色按钮输了,我会感到惊讶。

今年你旨在跑多少实验?

在产品中:100,包括功能卷展栏。这是一个伸展目标,但我想我们可以做到!

 优化X.