Перейти к содержимому
15 / 20

Редкое событие: сколько трафика нужно, чтобы измерить эффект антифрода или другой задачи с долей процента?

Чем реже событие, тем больше выборка: при базовой доле 0.1% и желании заметить относительное улучшение на 10% нужно порядка полутора миллионов наблюдений на группу. Считать надо в абсолютных величинах, а не в процентах: важно число событий, а не число пользователей. Практические выходы — обогащённая выборка (эксперимент только на подозрительном срезе), метрика-заменитель с большей частотой и удлинение периода при контроле сезонности.

Редкое событие: сколько трафика нужно, чтобы измерить эффект антифрода или другой задачи с долей процента? | JScriptiser