Модель-судья: какие у неё систематические смещения и как построить оценку, которой можно верить?

У судьи-модели есть устойчивые перекосы: предпочтение длинных ответов, зависимость от порядка вариантов, симпатия к своему стилю генерации и склонность соглашаться с формулировкой вопроса. Поэтому судью нельзя брать как есть: его калибруют на размеченной людьми выборке, меряют согласие с человеком, перемешивают порядок вариантов, задают конкретные критерии вместо «оцени качество» и периодически перепроверяют на новой выборке.