Как повысить чувствительность A/B, не увеличивая трафик: коррекция по прошлым данным, стратификация, последовательные тесты?

Размер выборки пропорционален дисперсии метрики, поэтому снижение дисперсии — это прямая экономия трафика и времени. Три приёма дают почти весь эффект: коррекция по предэкспериментальным данным (CUPED) убирает из метрики предсказуемую часть и сокращает дисперсию на величину квадрата корреляции с прошлым поведением, стратификация выравнивает состав групп по важным срезам, последовательные тесты позволяют смотреть на результат до конца без раздувания ложных срабатываний. Первый приём обычно даёт больше остальных вместе взятых.