---
title: A/B-методология от Kohavi (ExP Platform) — канон экспериментов для секции
sources:
  - https://exp-platform.com/rules-of-thumb/ — «Seven Rules of Thumb for Web Site Experimenters» (Kohavi, Deng, Longbotham, Ya Xu; KDD 2014)
  - https://exp-platform.com/ — сайт ExP Platform; книга «Trustworthy Online Controlled Experiments» (Kohavi, Tang, Xu; Cambridge Univ. Press)
author: Ron Kohavi (Technical Fellow Microsoft, VP Airbnb), Ya Xu (LinkedIn), Tang (LinkedIn/Microsoft)
конспект: подготовлено 2026-10-06, TASK-49; по fetched-страницам exp-platform.com + общеизвестному содержанию книги
статус: первоисточник №1 по культуре онлайн-экспериментов (именно на неё опирается культура A/B в Яндексе). Наш KB §7 уже покрывает технику; берём концепты-усилители: «большинство экспериментов неудачны», OEC, T-triplets, культура итераций.
---

# Kohavi/ExP: правила и культура онлайн-экспериментов

## Почему отобран

В секции тема экспериментов будет глубокой (сильная культура A/B в Яндексе). Наш KB §7.2–7.4 покрывает дизайн и статистику; канон Kohavi добавляет то, что отличает senior-ответ: правильные ожидания от результатов и язык «культуры экспериментов». Авторы — Microsoft Bing/Office и LinkedIn; в обзорной статье American Statistician (2023, fetched) Яндекс прямо назван среди организаций, строящих продукт на OCE (online controlled experiments).

## Семь правил из опыта тысяч экспериментов (KDD 2014)

По fetched-абстракту и общеизвестному содержанию доклада:

1. **Малые изменения могут иметь большой эффект** — 1% улучшения конверсии у крупного сервиса = огромные деньги; не игнорировать «мелочи».
2. **Большинство идей не работают**: успех лишь у ~1/3 экспериментов (в отдельных продуктах 10–33%); неудачный результат — норма и ценность (экономит деньги, учит о пользователях).
3. **HiPPO**: мнение самого высокооплачиваемого человека — плохой предсказатель исхода; решает эксперимент.
4. **Скорость имеет значение** — замедление страницы измеримо бьёт по ключевым метрикам; отдельные зоны страницы чувствительнее.
5. **Статистическая строгость**: значимость и мощность считать заранее; подглядывание и ранние остановки — источник ложных побед (у нас KB §7.3 — peeking).
6. **Смотрите на совокупность метрик (OEC)**, а не на одну: краткосрочный рост одной метрики при деградации долгосрочных — провал.
7. **Итерации**: масштабные улучшения — результат множества последовательных проверенных шагов, а не одного «гениального» релиза.

(Сверить полный список при чтении книги/доклада; для секции достаточно тезисов 2, 3, 5–7.)

## Ключевые концепты книги «Trustworthy Online Controlled Experiments»

- **OEC (Overall Evaluation Criterion)** — заранее заданная совокупная метрика решения (наш primary+guardrails — частный случай).
- **Trust checks** до анализа: SRM, A/A, сеги-имбалансы (у нас есть).
- **T-triplets: Treatment, Task, Target population** — эксперимент определяется тройкой «что меняем / какую задачу пользователя трогаем / на ком»; помогает не «тестировать кнопку», а тестировать изменение задачи.
- **Культура**: эксперименты как система принятия решений, а не подтверждение мнений; база знаний проведённых тестов (у нас — «база знаний экспериментов» в скелете §3.3).

## Сверка с нашей базой (KB §7)

| Kohavi | У нас | Вывод |
|--------|-------|-------|
| OEC | primary + guardrails (KB §7.2) | Совпадает; добавить термин OEC как опознаваемый |
| Peeking, SRM, A/A | KB §7.3 | Совпадает полностью |
| 1/3 успехов | Нет — **доработка** | Добавить как ожидание «неудача норма» |
| HiPPO | KB §2.3 (HiPPO-ловушка приоритизации) | Совпадает |
| T-triplets | Нет — **доработка** (полезно для «что тестируем») | Добавить одной строкой |
| Итерации/культура | Кейс №5, «база знаний» | Совпадает; проговаривать явно |

## Что переносим в подготовку

1. KB §7.3/§7.2: добавить «~1/3 экспериментов успешны (Kohavi) — неудачный тест норма, ранняя остановка по фикс. критерию» и термины OEC, T-triplets.
2. methodology §3.3: в дифференциатор добавить фразу-маркер: «по опыту индустрии большинство экспериментов нулевые — заранее фиксирую OEC и критерий остановки».
3. Слоты «В (полный)»: прочитать «Seven Rules of Thumb» целиком (PDF со страницы exp-platform.com/rules-of-thumb/).