Что отвечать на вопрос «а если нагрузка вырастет в сто раз»: где у ML-системы узкие места?

Отвечать надо не «добавим серверов», а назвать конкретное узкое место и способ его снять. В ML-системе их немного и они предсказуемы: получение признаков, векторный индекс, стоимость ранжирования, конвейер обучения и хранилище логов. У каждого свой предел и свой приём масштабирования — и почти всегда рост в сто раз ломает не тот слой, который кажется очевидным.