Теория экстремальных значений в детекции: как поставить порог по хвосту без предположений о распределении?

Идея EVT: вместо того чтобы моделировать всё распределение, моделируют только его хвост. Теорема Пикандса—Балкемы—де Хаана утверждает, что превышения над достаточно высоким порогом сходятся к обобщённому распределению Парето (GPD) практически для любого исходного распределения. Практический метод — peaks-over-threshold (POT): берут начальный порог (например, квантиль 0,98), подгоняют GPD по превышениям и вычисляют финальный порог, соответствующий заданной вероятности ложной тревоги, скажем 10⁻⁴. Для потоков есть алгоритм SPOT (Siffer et al., KDD 2017): он инициализируется на первой тысяче значений и дальше обновляет оценку хвоста на лету, а его вариант DSPOT работает с дрейфующими рядами, применяя POT к отклонениям от скользящего среднего. Главное достоинство — вы задаёте не «сколько сигм», а вероятность ложного срабатывания, и она примерно выдерживается на тяжёлых хвостах, где правило трёх сигм врёт на порядки.