Evals в конвейере сборки: как собрать золотой набор и сделать проверку качества гейтом выкатки?

Проверка качества LLM-фичи должна работать как тесты: запускаться на каждое изменение подсказки, модели или конвейера и блокировать выкатку при просадке. Устройство: золотой набор из реальных запросов с эталонными ответами → набор проверок (детерминированные правила плюс модель-судья) → пороги на метрики → отчёт с разбором расхождений. Судью обязательно калибруют по человеческой разметке и берут из другого семейства моделей, чем проверяемая, — иначе он предпочитает собственный стиль. Что нельзя проверить офлайн, проверяется на доле живого трафика.