Как правильно ставить A/B-тест рекомендаций и почему рандомизация по показу неверна?

Рандомизировать надо по пользователю, а не по запросу или показу. Иначе один человек в одной сессии видит выдачи двух систем вперемешку: он сравнивает их между собой, его поведение в контроле искажено экспериментом, и это ломает независимость наблюдений, на которой держится статистика. Единица рандомизации должна совпадать с единицей опыта. Дальше обязательны три вещи: проверка равномерности до старта (A/A-тест), длительность не меньше недельного цикла с захватом выходных, и набор метрик, где рядом с целевой стоят ограничители — покрытие, разнообразие, жалобы.