Что такое шум в разметке и согласованность разметчиков: чем мерить (каппа Коэна, альфа Криппендорфа) и как разрешать разногласия?

Шум разметки (label noise) = ошибки в метках (на ImageNet/MNIST/CIFAR по оценке 3-10% помечены неверно, Northcutt 2021). Согласованность разметчиков (IAA) = насколько они сходятся между собой, косвенный показатель шума. Простая доля совпадений обманывает при перекосе классов. Cohen's kappa = (p_o − p_e) / (1 − p_e), для 2 annotator'ов; Fleiss' kappa — для N; Krippendorff's alpha — универсальная (любое N, missing data, любые шкалы; >0.667 acceptable). Разрешение споров: автоматически там, где можно → голосование при равенстве → эксперт → уточнить инструкцию.