Как оценить нагрузку и ресурсы в ML system design: QPS, объём данных, бюджет задержки, размер индекса?

Оценка нагрузки — это четыре числа, которые считаются на салфетке за пару минут: запросов в секунду (QPS, средний и пиковый), объём обучающих данных, бюджет задержки и размер того, что должно лежать в памяти (индекс, эмбеддинги, признаки). Эти числа определяют архитектуру жёстче, чем выбор модели: они решают, поместится ли индекс в один сервер, нужен ли отдельный слой отбора кандидатов и возможен ли онлайн-инференс вообще.