Как выбрать видеокарту под инференс и посчитать стоимость миллиона токенов?

Расчёт идёт в три шага. Влезает ли модель: веса плюс кэш ключей и значений плюс запас — это отсекает половину вариантов. Сколько токенов в секунду: генерация упирается в пропускную способность памяти, поэтому карту выбирают по ней, а не по пиковым числам операций. Сколько стоит миллион токенов: цена часа делится на фактическую пропускную способность с учётом реальной загрузки. Последний множитель решает всё: карта, загруженная на 30%, делает токен втрое дороже, чем та же карта под полной нагрузкой.