Как понять, что детектор устарел, и когда его переобучать?

У детектора аномалий нет привычной метрики качества в реальном времени, поэтому устаревание ловят косвенно. Три сигнала. Частота срабатываний уехала: детектор, настроенный на 20 алертов в сутки, выдаёт 200 или 2 — это признак сдвига распределения скоров, а не изменения реальности. Доля ложных выросла: вердикты дежурных — самый прямой индикатор; рост с 30% до 70% означает, что модель нормы не соответствует продукту. Дрейф входов: распределения признаков и метрик сдвинулись; здесь пригодны PSI и статистические тесты, но с оглядкой — на больших выборках тесты вроде KS отвергают гипотезу почти всегда, а PSI шумит на маленьких батчах, поэтому дрейф без ухудшения операционных метрик не повод для действий. Переобучение по расписанию (например, еженедельно на скользящем окне) проще и предсказуемее, чем по срабатыванию триггера; главное — исключать из обучающего окна известные инциденты и периоды подавления.