Метрики-отношения в A/B: почему нельзя считать доверительный интервал как для среднего и что даёт дельта-метод?

Метрика вида «клики на показ» или «выручка на заказ» — это отношение двух случайных сумм, и её нельзя считать средним по независимым наблюдениям: единица рандомизации — пользователь, а слагаемые — события, которых у одного пользователя много и они зависимы. Наивная формула занижает дисперсию и делает значимым всё подряд. Дельта-метод даёт корректную дисперсию отношения через дисперсии числителя и знаменателя и их ковариацию; альтернатива — бутстрап по пользователям.