Как разбирать жалобу «мне показали ерунду», если модель — чёрный ящик?

Нужна воспроизводимость решения. Минимальный набор: журнал ответа с идентификатором запроса, версиями модели и индекса, списком кандидатов с их источниками, значениями признаков и итоговыми баллами, а также сработавшими правилами. По идентификатору запроса вопрос «почему объект оказался третьим» превращается в чтение записи: пришёл из такого-то источника, получил такой балл, поднялся правилом квоты. Без такого журнала разбор сводится к догадкам, а исправления делаются вслепую. Дополняют это значениями Шепли для верхних объектов и возможностью переиграть запрос на другой версии модели.