5 / 10
Откуда брать отрицательные примеры, если пользователь ничего не отвергал явно?
Три источника, от самого честного к самому дешёвому. Показанное и не кликнутое — настоящий отрицательный пример: объект был на экране, и пользователь его пропустил. Случайные объекты каталога — дешёвый шум, годится для обучения отбора кандидатов, но слишком лёгкий для ранжировщика. Сложные отрицательные — популярные или похожие на положительные объекты, которые модель путает; именно они дают прирост качества. Ошибка новичка — учить ранжировщик на случайных отрицательных: модель научится отличать «релевантное от произвольного», а в проде ей предстоит отличать релевантное от почти релевантного.