Перейти к содержимому
8 / 10

Многомерные аномалии: расстояние Махаланобиса, PCA и проклятие размерности

В многомерном случае аномалия часто не выделяется ни по одному признаку отдельно — необычно именно сочетание: платёж обычного размера, но из нетипичной страны для этого устройства. Поэтому нужны методы, учитывающие корреляции. Расстояние Махаланобиса делает это напрямую: нормирует отклонение на ковариационную матрицу, и для нормальных данных его квадрат распределён как χ² с числом степеней свободы, равным размерности, — отсюда порог берётся из таблицы, а не с потолка. Ограничения: нужна обратимая ковариация (при коррелированных или многочисленных признаках требуется робастная оценка вроде MCD или регуляризация), и предположение об эллиптичности данных. PCA-подход решает ту же задачу через ошибку восстановления по главным компонентам. С ростом размерности всё ломается по-другому: расстояния между точками сближаются, и любые методы на расстояниях теряют разрешающую способность — спасают отбор признаков, проекции и подпространственные методы.

Многомерные аномалии: расстояние Махаланобиса, PCA и проклятие размерности | JScriptiser