Спроектируйте детектор аномалий в продуктовых метриках: как не утонуть в ложных срабатываниях?

Тысяча метрик с порогом «три сигмы» дадут несколько ложных тревог каждый час — и дежурный перестанет их читать. Работающая схема: прогноз ожидаемого значения с учётом суточной и недельной сезонности, сравнение факта с доверительным интервалом, требование устойчивости (аномалия держится N интервалов подряд) и группировка связанных срабатываний в один инцидент. Метрика качества системы — не полнота, а доля алертов, по которым что-то сделали.