Какой serving-стек выбрать: TorchServe, Triton, BentoML или FastAPI?

FastAPI — для прототипа и моделей, где задержка не критична (sklearn / lightgbm). BentoML — когда нужен framework-agnostic packaging моделей в OCI-образ + auto-scaling и батчинг. TorchServe — production-serving для PyTorch с динамическим батчингом, model archive и метриками. Triton Inference Server — топовый выбор для GPU/multi-framework: PyTorch, TF, ONNX, TensorRT в одном сервере с concurrent execution и dynamic batching. Выбор зависит от latency SLA, типа модели и того, нужен ли GPU-throughput.