Как посчитать длительность A/B-теста модели: минимальный значимый эффект, размер выборки, метрики-отношения?

Считается в одну формулу: на группу нужно примерно 16 * дисперсия / (абсолютный эффект)² наблюдений при стандартных 5% уровне значимости и 80% мощности. Дальше размер выборки делится на суточный трафик — получается длительность. Две поправки, из-за которых расчёт чаще всего оказывается неверным: метрики-отношения (выручка на пользователя, доля кликов на сессию) требуют учёта того, что наблюдения внутри пользователя зависимы, а множественные метрики и подгруппы требуют поправки на множественные сравнения.