Спроектируйте сервис эмбеддингов: как выбрать модель, размерность и не упереться в стоимость индексации?

Выбор модели решается замером на своих данных, а не таблицей лидеров: берут 200-300 размеченных пар «запрос — релевантный документ» и сравнивают recall@k у трёх-четырёх кандидатов. Размерность выбирают по цене памяти индекса: модели с матрёшечными эмбеддингами позволяют обрезать вектор вдвое-втрое почти без потерь. Сервис делают пакетным по своей природе: эмбеддинги считаются крупными пачками, кэшируются по хешу текста и никогда не пересчитываются дважды.