Как оценить потолок качества модели: зачем измерять человеческий уровень и шум разметки до обучения?

Если два разметчика расходятся в 12% случаев, никакая модель не покажет точность 95% — верхняя планка задана согласованностью разметки, а не архитектурой. Поэтому до обучения меряют: согласие между людьми на общей подвыборке, качество эксперта на той же задаче и долю принципиально неоднозначных примеров. Эти числа определяют и достижимую цель, и то, где искать выигрыш: в модели или в инструкции для разметчиков.