Обратная связь от дежурных: как превратить разбор алертов в улучшение детектора?

Разбор алерта — самая дешёвая разметка, которая у команды есть, и она пропадает, если её не собирать. Минимальная схема: при закрытии алерта дежурный выбирает вердикт (подтверждён / ложная тревога / непонятно) и причину (фрод, сбой, релиз, качество данных, сезонность, прочее). Эти два поля дают три вещи. Первое — операционные метрики: доля ложных, распределение причин, время разбора; если 60% подтверждённых алертов имеют причину «качество данных», вы построили монитор конвейера, а не детектор аномалий. Второе — данные для калибровки порогов: precision на верхушке ранжирования измеряется напрямую, без разметки всей истории. Третье — обучающая выборка для supervised-слоя, который со временем перехватывает известные типы. Важное ограничение: обратная связь покрывает только область выше порога, поэтому полноту по ней измерить нельзя — для этого нужны инциденты, найденные другими путями.