Как выбрать порог детектора: бюджет алертов вместо магической тройки сигм

Порог — не свойство алгоритма, а решение о том, сколько ложных тревог команда готова разбирать. Считать его надо от пропускной способности дежурного: два инженера, по пять минут на разбор, час в смену на алерты — это примерно 24 алерта в сутки, и порог ставится на соответствующий квантиль скоров. Правило «три сигмы» обещает 0,27% срабатываний, то есть около четырёх алертов в сутки на минутной метрике, — но обещание верно только для нормального распределения на стационарных данных. У продуктовых метрик хвосты тяжелее нормальных, а несмятая сезонность добавляет к разбросу дневную амплитуду, поэтому фактическая доля превышений оказывается в разы, а то и в десятки раз выше номинальной; отсюда репутация детекторов как источника шума. Практичные способы: квантиль по историческим скорам (простой и честный), бюджет ошибок через ожидаемую цену пропуска и цену разбора, адаптивный порог по хвосту методами теории экстремальных значений, когда распределение скоров нестабильно. Порог всегда парный: один — на уведомление в чат, второй, более высокий, — на звонок дежурному; и оба пересматриваются после каждого месяца эксплуатации.