У каждого продуктового аналитика есть знакомый сценарий. Фичу раскатывают лесенкой  5% → 25% → 50% → 100% , на каждой ступеньке смотрят метрики, а на 100% начинается ожидание...

У каждого продуктового аналитика есть знакомый сценарий. Фичу раскатывают лесенкой 5% → 25% → 50% → 100%, на каждой ступеньке смотрят метрики, а на 100% начинается ожидание «прокраса». Сегодня p = 0.07 — «почти, подождём». Через пару дней p = 0.03, но эффект ниже MDE — «подождём, вдруг дорастёт». Ещё через неделю p = 0.04 — «прокрасилось», скриншот в чат.

Каждый шаг здесь выглядит разумно, но вместе они ломают статистику. Ниже разберём, насколько сильно ломают, почему, и какие есть честные способы смотреть в тест часто, даже если заранее неизвестно, сколько раз это придётся делать.

Возьмём метрику со средним в контроле и в тесте. После пользователей в каждой группе статистика выглядит так:

При верной нулевой гипотезе (), и правило «отвергаем при » ошибается с вероятностью ровно 5%.

Важная оговорка: это верно для одного, выбранного заранее. Если же смотреть на и останавливаться при первом пересечении порога, то ошибка первого рода считается уже по‑другому:

При 10 взглядах это 40%, при 21 — 66%. Но взгляды зависимы: сегодняшние данные — это вчерашние плюс ещё немного. Корреляция между двумя взглядами равна

Например, взгляды на 20-й и 21-й день скоррелированы на ~0.98. Поэтому реальная инфляция меньше, чем при независимости, но всё равно большая.

Это можно проверить моделированием на A/A‑тестах, где эффекта нет по построению. Типичная лесенка: 3 дня на 5% трафика, 4 дня на 25%, неделя на 50%, дальше 100%, плановая длительность 3 недели. Каждый день считаем z‑тест и останавливаемся при первом p < 0.05. Повторяем 100 000 раз:

Удобнее всего смотреть не на, а на накопленную сумму. При её приращения независимы, и в непрерывном пределе ведёт себя как броуновское движение(тут чуть‑чуть душно, но не переживайте:) ).

Знаменатель растёт бесконечно, хоть и очень медленно. Значит, рано или поздно пересечёт любой фиксированный порог, в том числе 1.96. Если ждать прокраса без ограничения по времени, вероятность ложного прокраса стремится к 100%.