Пакетный, онлайн или потоковый инференс: как выбрать режим и во что обходится каждый?

Выбор определяется одним вопросом: насколько свежим должен быть предсказанный результат в момент его использования. Если допустимо вчерашнее — считаем пакетно (batch): дёшево, просто, легко перезапустить. Если результат зависит от того, что пользователь сделал секунду назад, — онлайн: дорого, требует бюджета задержки и отказоустойчивости. Потоковый (streaming) — середина: считаем непрерывно по событиям и складываем результат в хранилище, читатель забирает готовое.