Зачем ML-систему разбивают на каскад: отбор кандидатов, ранжирование, переупорядочивание?

Потому что точная модель не успевает обработать весь каталог, а быстрая — недостаточно точна. Каскад разводит это по слоям: отбор кандидатов сокращает миллионы объектов до сотен дешёвым способом (приближённый поиск по векторам, простые правила), ранжирование применяет тяжёлую модель к этим сотням, переупорядочивание правит финальный список по бизнес-логике — разнообразие, свежесть, ограничения. Каждый следующий слой дороже на объект и работает с меньшим их числом.