Алертинг без шума: дедупликация, группировка и подавление

Детектор, выдающий алерт на каждую точку выше порога, генерирует сотни сообщений за инцидент и умирает в первый месяц. Между скором и уведомлением обязан стоять слой правил. Удержание: сработка засчитывается, если превышение держится несколько точек подряд. Дедупликация: пока инцидент не закрыт, повторные сработки по той же метрике обновляют существующий алерт, а не создают новый. Группировка: аномалии в связанных метриках в одном временном окне сливаются в один инцидент с общей причиной. Подавление: на время известных работ, релизов и миграций алерты глушатся, но скоры продолжают считаться и сохраняться. Маршрутизация: два уровня — уведомление в канал и звонок дежурному, с разными порогами. И самое главное — петля улучшения: каждый повторяющийся ложный алерт заканчивается либо новым признаком в модели, либо правилом подавления, иначе шум возвращается.