Z-score, MAD и модифицированный z-score: где ломается правило трёх сигм?

Правило трёх сигм ломается в трёх местах. Первое — среднее и стандартное отклонение сами портятся выбросами: один платёж на десять миллионов поднимает среднее и раздувает сигму так, что аномалией не выглядит уже ничего; это называется маскировкой. Второе — распределение не нормальное: у продуктовых метрик тяжёлые хвосты и асимметрия, и вероятность выхода за три сигмы там на порядки выше обещанных 0,27%. Третье — данные не независимы: у ряда есть сезонность и тренд, и вся дневная амплитуда попадает в сигму, после чего детектор слепнет. Лечится по частям: вместо среднего и σ — медиана и MAD (модифицированный z-score = 0,6745·(x − med)/MAD, порог обычно 3,5), вместо предположения о нормальности — квантили или оценка хвоста методами EVT, вместо сырого ряда — остатки после снятия сезонности.