3 / 20
Как делать capacity estimation в ML system design: QPS, объём данных, latency budget, размер индекса?
Capacity estimation — четыре числа на салфетке: QPS (средний и peak), объём training data, latency budget, размер горячих данных (индекс, embeddings, features). Эти числа определяют архитектуру жёстче, чем выбор модели: помещается ли индекс в один сервер, нужен ли candidate generation, возможен ли online inference вообще.