Skip to content
3 / 20

Когда A/B врёт: интерференция, switchback и кластерные дизайны?

Обычный A/B опирается на допущение, что группы не влияют друг на друга. В маркетплейсах, соцсетях и рекламе это допущение нарушается: группы делят один склад, одну ленту, один рекламный бюджет и одних и тех же людей. Результат — эффект измеряется завышенно или занижено, вплоть до смены знака. Лечится сменой единицы рандомизации: кластер вместо пользователя (город, склад, сообщество) или временной интервал вместо пользователя (switchback — переключение всей системы между вариантами по расписанию).

Когда A/B врёт: интерференция, switchback и кластерные дизайны? | JScriptiser