Перейти к содержимому
9 / 10

Можно ли использовать кластеризацию для детекции аномалий и где здесь ловушки?

Можно, и два подхода различаются принципиально. DBSCAN и HDBSCAN дают детекцию бесплатно: точки, не попавшие ни в один кластер, помечаются шумом — это и есть кандидаты в аномалии; метод не требует задавать число кластеров и находит кластеры произвольной формы, но чувствителен к eps и min_samples и плохо переносит кластеры разной плотности (HDBSCAN снимает часть этой боли). k-means используют иначе: как скор берут расстояние до ближайшего центроида, но метод по построению приписывает каждую точку к какому-то кластеру, склонен к шарообразным кластерам одинакового размера и сам смещается аномалиями — центроид уезжает в сторону выброса. Общая ловушка обоих: аномалии редко образуют кластер, а если образуют — например, ботовый трафик — кластеризация объявит их нормальной группой. Поэтому кластеризацию берут как дополнение к специализированным детекторам или как инструмент разведки, а не как основной механизм.

Можно ли использовать кластеризацию для детекции аномалий и где здесь ловушки? | JScriptiser