Builder's

Back to Archive

Ronny Kohavi

Detailed Analysis & Action Guide/2024-05-24

A/B测试实验文化数据驱动OEC指标统计误区产品增长

内容概要

本期播客是 A/B 测试领域的“大师课”。Ronny Kohavi 深入探讨了为什么即使是顶尖公司的产品经理，在预测实验结果时的失败率也高达 80%-90%。他分享了 Bing 历史上价值 1 亿美元的微小改动案例，解释了为什么“信任”是实验文化的基石，并详细拆解了 OEC（总体评价指标）、Twyman 定律以及 P 值的常见误区。这不仅是一场技术分享，更是一场关于如何建立科学决策文化的深刻对话。

逐字稿双语 PDF

工具/书籍

行动建议

今天

  • 检查现有实验的 SRM: 看看你的对照组和实验组人数比例是否真的符合预期。
  • 反思 OEC: 问问自己，如果今天收入翻倍但留存减半，你的指标体系会显示“成功”还是“失败”？

本周

  • 建立实验文档库: 开始记录每一个实验的假设、结果和学到的教训。
  • 阅读 "Rules of Thumb" 论文: 学习 Ronny 总结的实验经验法则。

深度探索

  • 研究 Variance Reduction (CUPED): 学习如何通过统计手段缩短实验所需时间。

关键洞察

  1. 直觉是不可靠的: 即使是专家，在预测用户行为方面也经常出错。实验不是为了证明你是对的，而是为了发现你哪里错了。
  2. 制度化记忆: 成功的公司会记录所有实验（包括失败的），并定期举行“最令人惊讶实验”分享会，将数据转化为组织知识。
  3. 沉没成本陷阱: 很多团队因为投入了 6 个月开发大项目，即使实验结果是负向的也坚持上线。Ronny 认为这是极其错误的，不应在“平手”或“负向”时上线。
  4. 小改动大影响: 不要轻视 UI 的微调（如打开新标签页、调整行间距），这些改动往往比复杂的新功能更能驱动核心指标。
  5. 平台 vs. 人力: 优秀的实验平台应该减少对数据科学家的依赖，通过自动化检测（如 SRM）来保护实验的纯洁性。

嘉宾介绍

Ronny Kohavi

  • 身份: 全球公认的 A/B 测试与实验科学领域第一人，被誉为“实验之神”。
  • 职业经历:
    • Airbnb: 副总裁兼技术院士（Technical Fellow），领导搜索体验团队。
    • Microsoft: 公司副总裁，创建并领导了微软实验平台（ExP）团队，推动了 Bing、Office 和 Windows 的数据驱动转型。
    • Amazon: 数据挖掘与个性化总监，直接向贝索斯汇报，早期推荐算法和实验系统的奠基人。
  • 当前身份: 全职顾问、教育家，Maven 热门课程讲师。
  • 核心专长: 大规模实验系统构建、数据驱动决策、统计学在业务中的应用。
  • 社交媒体:
    • Twitter/X: @ronnyk
    • LinkedIn: Ronny Kohavi
    • 著作: 《Trustworthy Online Controlled Experiments》（中文版《信任在线受控实验》）

核心论点

论点一：实验的“谦逊现实”——大多数想法都会失败

核心观点: 即使是世界上最聪明的产品团队，其大部分创意在实验中也是无效或负向的。

  • 失败率统计: 在微软，约 2/3 的想法失败；在 Bing，失败率约 85%；在 Airbnb 搜索团队，失败率高达 92%。
  • 测试一切: 任何代码更改、功能引入甚至小的 Bug 修复都应进行实验，因为微小的改动往往会产生意想不到的巨大影响。
  • 高风险高回报: 必须接受 80% 的失败率，才能在剩下的 20% 中捕捉到改变公司命运的“全垒打”。

"If you go for something big, try it out, but be ready to fail 80% of the time." — Ronny Kohavi

论点二：OEC（总体评价指标）是实验的北极星

核心观点: 实验不应只关注短期收入，而应关注能预测长期价值（LTV）的综合指标。

  • 防止短期短视: 增加广告位可以瞬间提升收入，但会损害用户体验和长期留存。
  • 约束优化: 在不损害用户体验指标（如加载速度、成功点击率）的前提下追求业务增长。
  • 反向指标（Countervailing Metrics）: 引入“退订率”、“负面反馈”等指标来平衡增长指标，防止团队为了达成目标而“作弊”（如发送垃圾邮件）。

论点三：信任是实验平台的生命线

核心观点: 如果实验结果不可信，再快的实验速度也毫无意义。

  • Twyman 定律: 任何看起来异常出色或令人惊讶的数据，通常都是错误的（数据记录错误、Bug 等）。
  • 样本比例失衡 (SRM): 如果预设 50/50 分流，实际结果是 50.2/49.8，必须停止实验并排查原因，这通常意味着实验设计存在偏差。
  • P 值的误区: 0.05 的 P 值并不意味着 95% 的成功概率。在成功率仅为 8% 的环境下，0.05 的 P 值对应的假阳性风险可能高达 26%。

数据验证结果

验证项 1: Bing 广告标题改动增加 1 亿美元收入。

  • 原文声称: "That simple idea increased revenue by about 12%... worth $100 million."
  • 验证结果: ✅ 确认。
  • 来源: Ronny Kohavi 在其著作《Trustworthy Online Controlled Experiments》第一章中详细记录了此案例。
  • 可信度: ⭐⭐⭐

验证项 2: 互联网大厂实验失败率在 80%-90% 之间。

  • 原文声称: "Booking, Google Ads, other companies published numbers that are around 80 to 90% failure rate."
  • 验证结果: ✅ 确认。
  • 来源: Microsoft ExP 团队发表的多篇论文以及 Google 在其官方博客中均提到过类似比例。
  • 可信度: ⭐⭐⭐

验证项 3: 样本比例失衡 (SRM) 的普遍性。

  • 原文声称: "8% of experiments suffered from the sample ratio mismatch."
  • 验证结果: ✅ 确认。
  • 来源: 论文《Diagnostic Analysis of Sample Ratio Mismatch (SRM) in Online Controlled Experiments》(Fabijan et al., 2019)。
  • 可信度: ⭐⭐⭐

四维分类评估

🟢 高度正确（已验证）

观点 1: 实验是打破“局部最优”和发现“意外惊喜”的唯一科学手段。

  • 验证依据: Bing 的 1 亿美元案例和 Airbnb 的新标签页打开案例均证明了直觉的局限性。

观点 2: 建立实验平台的目标是让边际成本趋近于零。

  • 验证依据: 微软通过自动化平台实现了每年 2.5 万次实验，证明了规模化实验的可行性。

🔵 当下可执行（有明确步骤）

建议 1: 检查 SRM（样本比例失衡）。

  • 执行方法: 使用 Ronny 提供的电子表格或在线计算器，输入对照组和实验组的样本量，检查 P 值是否极小（如 < 0.0001）。

建议 2: 定义 OEC。

  • 执行方法: 召集产品、工程和数据团队，讨论并确定一个能平衡短期收益与长期用户价值的单一公式。

🟡 理智质疑（需验证）

存疑点: “测试一切”是否会导致团队丧失大局观？

  • 质疑原因: 虽然 Ronny 强调了高风险投资，但在资源有限的初创公司，过度测试微小改动可能会导致开发速度变慢。

🔴 需警惕（风险点）

风险点: 盲目相信 0.05 的 P 值。

  • 风险说明: 在低成功率背景下，0.05 的 P 值极易产生假阳性。建议将显著性阈值提高到 0.01，或进行重复实验验证。

深度评分

知识价值: 10/10

  • 实验科学领域的最高水平分享，理论与实践完美结合。

可执行性: 8/10

  • 对于有一定流量基础的公司非常实用，但对极早期初创公司门槛较高。

商业潜力: 10/10

  • 优化实验文化可以直接带来数百万甚至数亿美元的收入增长。

投入产出比: 9/10

  • 听一小时播客，可能避免数月的无效开发。

综合评分: 9.3/10

参考来源