下载我们的免费电子书43 A / B检测案例研究,从世界领先的公司寻找考试创意和灵感。 现在下载

优化博客

构建您的实验计划的提示和技巧



克莱尔vo.(左)和Caitlin Anderson(右)于2019年1月22日星期二的Uber Talk Autilation,在旧金山的优化总部位于130多家营销人员和产品经理的包装之家。


上周,我们在旧金山优化的130多名实验者中,为我们今年的第一次现场活动。我们很幸运能够被两个品牌加入 - Airbnb和Uber - 从根本上改变了我们旅行的方式,今天绕过了:

小组成员
Jami Schwartz.,营销负责人,Airbnb为工作
凯特琳安德森,高级营销经理,优步
克莱尔vo.,产品的SVP,优化

对于那些无法做到的人来说,我们从夜间举起六个亮点:

新雇用=新的想法

缩放实验程序通常意味着增加测试的卷和范围。那么,团队如何继续获得新的和创造性的考试想法?有分析,热手容,用户研究以及许多其他方法。但对于Airbnb的Jami Schwartz,她转向采访新员工:“当刚刚开始在公司刚刚开始给我们新想法时,我总是喜欢它,因为他们’没有上下文和避风港的人’真的想到了网站的不同阶段。“优步和AIRBNB都收集来自整个公司的想法。优步的Cait Anderson 分享“优步也收集内部想法提交。此外,我们与团队和我们的主要合作伙伴进行观念会议,然后优先考虑那些提出我们的日程安排和承诺的人。“所以,如果你想要新的测试想法,开始与您的新员工交谈。

现代营销堆栈

营销人员总是渴望了解他们可以添加到其工具包的新软件。我们知道简单地有网站分析到位是不够的。那么Airbnb和Uber的营销堆栈中还有什么呢?他们用于喂养他们的实验计划的工具是什么?这是他们共享的:

Airbnb: “我们的堆栈非常重要。我们显然使用Google Analytics作为单一的真理来源。这是一家公司的宽工具。我们使用热拉姆进行热映射。我们使用Marketo进行许多CRM需求。我们的整个营销技术堆栈包括超过20件。但我会说那些是那些想到的顶部。然后用户测试是这样的’我们在我们的路线图上,我们真的很想使用。“

优步: “我们 also use HotJar. It is our secondary tech tool that we use for story metrics. We have one KPI for all of our tests that are launched, and that KPI is dependent on a product. But our story metrics are really imperative. And then internally we have dashboards built. We don’T尚未到达可视化方面,这将是,但仪表板帮助我们而不是Fielding Requess和Reports,我们’重新能够在实时看到什么’s happening.”

正如您所看到的,营销技术堆栈可能会有所不同,但确保您有软件和人员分析您网站上的行为对于成功决策很重要。

那个AHA测试时刻!

当被问及最大的时候‘aha’他们在他们的实验之旅中,优步共享了一个伟大的故事。这个故事是关于记住这一点 你的观众总是很重要。 而且,你应该继续保持客户痴迷。 Cait Anderson解释说:“每个客户都不同。因此,我们认为是最大的胜利者之一,我们认为我们可以向有机世界推广司机的激励计划 - 我们的访客会采取行动。然后在并发症中划分,我们也认为品牌更新可能不会有所作为。但它确实有所作为,你可以’T只是简单地扩展了你想要的任何地方,并看到收入增加。“这是不依赖我们自己的猎物或最佳判断的一个很好的例子,而是实际使用数据来揭示客户行为的差异。

4.优步的缩放实验标准

我们都有梦想缩放实验。无论是从少数少数,到几千人,就像我们听到Netflix一样。所以,我们问过Uber,这是一家在全球团队中采用实验的公司,他们如何扩展他们的惯例。我们想知道,采用过程如何?它甚至还在所有球队中吗?这是Caitlin所说的话:

“市场成熟是一个关键因素,然后第二个因素是交通的大小或数量。我们可以’如果我们不达到一个细分’T有足够的交通,我们aren’改变我们的KPI。优步的营销团队有一个KPI我们’始终试图击中。因此,全球层面的可扩展性是基于该国际市场的到期水平,如果用户正在访问Web体验,那么网络经验的交通水平是什么。“

5.我们如何雇用(又名是什么让好的实验者?)

今天是一个伟大的数字实验者需要什么? Cait Anderson认为是以过程为导向的是关键。 “这项工作仍然非常人性化,很高的触感,很遗憾在科技世界中,这是一种令人震惊的。因此,这将是一个特征(高度流程导向)。一个分析技能集,很棒。然后顾客痴迷。我会说那些是三技能。“贾米还继续回应客户痴迷的观点。 “你应该在这个领域。我认为营销人员,我们不’得到这个机会。我们当然有现场营销,但我鼓励人们通过销售呼叫,接通电话,基本上,领域自己的销售电话,因为我认为’批判性。我实际上是思考’可能是擅长任何营销角色的必要事项。“技术技能呢?佳木和贾米都不太担心技术技能,因为他们说许多雇员有“创业精神”,这意味着他们有能力学习和挑选新技能。

6.踩在我们硅谷泡泡外面

“我们’在旧金山都在旧金山,我们在这些大品牌上工作,但相信它与否,有人’从未听说过Airbnb。你开始意识到的是,哦,有人来到你的网站,他们实际上没有’知道airbnb是什么。那么你’重新为漏斗内容和您提供所有这些底部’重新考虑如何让他们转换和你’甚至没有考虑这种意识水平。所以我认为定性数据非常重要。我们在我们的网站上有表格,所以我每周阅读评论,我’M总是震惊的人,“What’S airbnb?我怎么用它?我预订了它......“Jami继续分享,在思考新的考试创意时,回来并倾听您的​​客户很重要。 Airbnb查看这些访客来自(有机与社交渠道)的地方,这可以给他们一个暗示他们对品牌的基础知识的级别。


对于那些上周参加了我们活动的人来说,谢谢你来加入我们 - 我们希望你在2019年推出你的实验努力,让你感到充满活力,而对于那些无法做到的人,我们下次见到你。

如果您想要了解世界上最好的品牌的更多示例,使用优化以提高他们的数字体验,请查看以其新的电子书标题, 数字变化代理: 世界级实验者的课程,策略和故事。 它具有亚空,签证,天空等团队的见解和测试创意。

现在读它

优化X.