Что такое label noise и inter-annotator agreement: как мерить (Cohen's kappa, Krippendorff alpha) и как делать adjudication?

Label noise = ошибки в разметке (на ImageNet/MNIST/CIFAR оценочно 3-10% mislabeled, Northcutt 2021). IAA = насколько annotator'ы согласны, прокси для шума. Raw agreement обманывает при class imbalance. Cohen's kappa = (p_o − p_e) / (1 − p_e), для 2 annotator'ов; Fleiss' kappa — для N; Krippendorff's alpha — универсальная (любое N, missing data, любые шкалы; >0.667 acceptable). Adjudication: auto-resolve → tie-break → expert → refine guidelines.