BentoML и Ray Serve: чем раздавать модель в проде?

BentoML упаковывает модель + зависимости + service-код в «Bento» — переносимый артефакт, который CLI разворачивает в Docker / K8s / cloud. Ray Serve — часть Ray, distributed serving с model composition (роутинг между моделями) и autoscaling. BentoML — для простого serving с упаковкой; Ray Serve — для сложных пайплайнов из нескольких моделей с разной нагрузкой.