Как правильно провести A/B-тест: гипотеза, размер выборки, p-value и минимальный значимый эффект (MDE)?

A/B тест — рандомизированный контролируемый эксперимент, в котором пользователи случайно делятся на control и treatment, и сравнивается primary metric. Правильный цикл: чёткие H0/H1 и primary + guardrail метрики → расчёт sample size по MDE (minimum detectable effect), power 0.8 и alpha 0.05 → sticky randomization → длительность ≥ 1–2 бизнес-цикла → статтест (t-test / χ² / CUPED) → p-value и доверительный интервал. Главные ошибки: peeking, multiple testing, Simpson’s paradox.