Skip to content
23 / 25

BentoML ΠΈ Ray Serve: serving Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠΈ для ΠΏΡ€ΠΎΠ΄-инфСрСнса?

BentoML ΡƒΠΏΠ°ΠΊΠΎΠ²Ρ‹Π²Π°Π΅Ρ‚ модСль + зависимости + service-ΠΊΠΎΠ΄ Π² Β«BentoΒ» β€” пСрСносимый Π°Ρ€Ρ‚Π΅Ρ„Π°ΠΊΡ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ CLI Ρ€Π°Π·Π²ΠΎΡ€Π°Ρ‡ΠΈΠ²Π°Π΅Ρ‚ Π² Docker / K8s / cloud. Ray Serve β€” Ρ‡Π°ΡΡ‚ΡŒ Ray, distributed serving с model composition (Ρ€ΠΎΡƒΡ‚ΠΈΠ½Π³ ΠΌΠ΅ΠΆΠ΄Ρƒ модСлями) ΠΈ autoscaling. BentoML β€” для простого serving с ΡƒΠΏΠ°ΠΊΠΎΠ²ΠΊΠΎΠΉ; Ray Serve β€” для слоТных ΠΏΠ°ΠΉΠΏΠ»Π°ΠΉΠ½ΠΎΠ² ΠΈΠ· Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ с Ρ€Π°Π·Π½ΠΎΠΉ Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠΎΠΉ.

BentoML ΠΈ Ray Serve: serving Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠΈ для ΠΏΡ€ΠΎΠ΄-инфСрСнса? | JScriptiser