Как посчитать стоимость инференса и когда пакетный режим дешевле онлайнового в десятки раз?

Стоимость онлайнового инференса определяется пиком, а не средней нагрузкой: держать мощности под утренний час пик приходится круглосуточно, и большую часть суток они простаивают. Пакетный режим считает те же предсказания на полной загрузке за короткое окно и обходится в разы дешевле. Формула сравнения простая: онлайн — пиковый QPS × время обработки × цена инстанса × 24ч, батч — объём / пропускную способность × цена.