下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



奥利维亚 Simon will be speaking at 测试和学习:产品实验虚拟峰会,半天免费 虚拟事件 对于产品经理,数据科学家,工程师和设计师深入了解洞察力驱动的产品开发和敏捷软件交付。 拯救你的座位 聆听Olivia和其他产品和工程领导者如何在您的产品团队中创建测试和学习文化。查看其他访谈 询问实验者系列.

告诉我们一些关于你自己的事。

我是Dow Jones优化团队的经理,监督WSJ.com和Barrons.com的许多测试路线图。这包括采集测试,参与测试,核心产品测试和保留测试。我的团队和我处理了规划测试的全部生命周期:观点,优先级,利益相关者买入,推出测试,分析我们的测试的影响,然后最终推动我们发现的结果以改善我们的产品。当我没有测试时,我要么吃炸玉米饼或奥运举重。

“测试和学习”是什么意思?

我们测试以构建我们所知道的产品对我们的用户最有用,最有用的是什么KR [关键结果]’重新开始移动。测试意味着我们可以廉价和快速地迭代。对我来说,“测试和学习”是冗余的。它’刚刚测试,因为测试本身就是学习。我们越多,我们就越了解如何为明天建立更好的产品。

您的A / B测试思想来自哪里?

我们相信良好的A / B考试想法可以来自任何人和任何地方。我认为这是我们的一部分’从许多业务中得到了买入的是我们希望每个人都贡献想法。我们提出了许多测试创意想法(这是我们的工作!),但我们还欢迎我们与之合作的利益相关者的意见。我们总是试图测试他们关心的东西,并真正重视他们带到桌面的所有伟大想法。我们如此坚决相信良好的想法可以来自任何地方,我们有一个与业务中的每个人共享的测试理念存储库,以便他们在天才罢工时提交想法。

我们还为竞争对手的考验创意带来了很多灵感 –无论是在类别和超出类别。另一份报纸正在与他们的收购战略为鼓舞人心,就像食物送货服务正在做的那样。所以,我们试图让我们的眼睛睁开,并寻找来自市场上欣赏的产品的有趣的想法。

你的北星级是什么?你在优化什么?

因为我们在整个客户生命周期中测试’对于那个旅程的每个部分都不同。对于收购测试,我们通常在订单增加方面评估成功。为了参与和产品测试,我们正在研究我们通过增加与网站其他部分的交互或产品的功能来减少流失。对于保留测试,我们正在寻找乘客乘客速度。对我们来说最重要的是,我们将我们的测试捆绑在真正的商业价值。这是我们如何让自己诚实地诚实地为什么优先考虑我们做的测试以及我们如何证明我们作为优化团队的价值。

什么是您的实验工具包或堆栈?

优化是我们在大多数实验中运行的。我们还使用一个名为CXENSE的程序,这些程序用于我们的业务中的内容推荐和个性化;我们通常更容易运行与cxense中这些域相关的测试。除此之外,我们使用Adobe Analytics来分析结果,我们有一个惊人的数据科学家团队,帮助我们解决更难的问题。

你见过的最令人惊讶或不完全的结果是什么?或最令人难忘的胜利者?

我们跑了这么多的测试,所以这就像要求我选择一个喜欢的孩子!但是,我可以告诉你我们最近从我们在我们的时事中心中遇到的测试中获得了一个有趣的结果。我们的传统注册按钮是一个蓝色CTA,称“注册”。我们假设这种语言可能对用户恐慌,要求他们过度承诺他们只是想样本。我们使用拨动开关而不是CTA进行测试,绝对粉碎它–高双位隆起。对我们来说真正令人着迷的是,我们看到肘节和手机都有效。我们永远不会考虑一种传统的令人震惊的互动,如桌面上的切换,但是这次测试表明,这种类型的UX遍及数字经验,并对人们造成的摩擦力不那么摩擦。

今年你旨在跑多少实验?

大概是今年200左右!

你会在测试中谈论什么& Learn?

我会谈论我们如何衡量和理解习惯是什么。更具体地说,我将潜入我们如何使用该知识来优先考虑我们在网站上开展用户的事项,以便我们可以制作贴上的长期成员。

有没有关于实验的最终想法,你想与可能正在阅读优化博客的人分享?

每个人都应该试验。它’是建造产品的最佳方式。

奥利维亚’s talk from Test &学习:现在提供产品实验虚拟峰会。 免费注册来观看此 在线活动.

优化X.