Как уложить ранжирование в бюджет задержки, если признаков сотни?

Три рычага. Сокращать обращения за признаками: получать их пакетом одним запросом по всем кандидатам сразу, а не по объекту; держать горячие признаки в памяти процесса, а не в удалённом хранилище. Сокращать вычисления: предвычислять всё, что не зависит от пары, ограничивать глубину и число деревьев, квантовать модель. Сокращать работу: считать дорогую модель только для верхних кандидатов после дешёвого предварительного отсева. Плюс обязательный механизм деградации: признак не пришёл за отведённое время — считаем с пропуском, а не ждём и не падаем.