Откуда взять разметку, если аномалии никто никогда не размечал?

Разметка почти всегда существует, просто лежит не в датасете. Четыре источника по убыванию качества: история инцидентов — постмортемы, тикеты, записи дежурств дают интервалы, когда точно было плохо, и это лучший материал для валидации; бизнес-события с отложенным подтверждением — чарджбэки, возвраты, отписки, акты контроля качества, они приходят с задержкой в дни и недели, но это настоящие метки; вердикты дежурных — если каждый алерт закрывается кнопкой «подтверждаю / ложная тревога», за квартал накапливается размеченная выборка ровно из тех случаев, которые детектор считает пограничными; синтетика — инъекция известных аномалий в исторические данные, единственный способ измерить чувствительность к конкретному типу сбоя. Начинать стоит с инцидентов: пятнадцати подтверждённых случаев уже хватает, чтобы отсеять детекторы, которые их не видят, и это в разы полезнее любого публичного бенчмарка.