Skip to content
3 / 20

Как делать capacity estimation в ML system design: QPS, объём данных, latency budget, размер индекса?

Capacity estimation — четыре числа на салфетке: QPS (средний и peak), объём training data, latency budget, размер горячих данных (индекс, embeddings, features). Эти числа определяют архитектуру жёстче, чем выбор модели: помещается ли индекс в один сервер, нужен ли candidate generation, возможен ли online inference вообще.

Как делать capacity estimation в ML system design: QPS, объём данных, latency budget, размер индекса? | JScriptiser