Стоимость AI-инфраструктуры: когда своё дешевле API и как считать утилизацию

Сравнение «своё против API» сводится к точке безубыточности. У API стоимость линейна по объёму: платите за токены, ноль трафика — ноль расходов. У своего инференса стоимость почти постоянна: карта арендуется целиком и оплачивается независимо от загрузки, поэтому решающим фактором становится утилизация. Практический расчёт: стоимость часа карты, делённая на реально обрабатываемые за час токены, даёт цену миллиона токенов, которую можно сравнить с прайсом провайдера — и при загрузке 20% своя инфраструктура обычно проигрывает в разы, при 70–80% выигрывает. Приёмы снижения стоимости: спотовые инстансы для обучения и батч-обработки (с обязательной возобновляемостью), разделение карты для мелких моделей, батчинг для повышения пропускной способности, масштабирование до нуля для редких нагрузок, квантизация для размещения модели на более дешёвой карте. И отдельный, часто решающий фактор: своё оправдано не только ценой, но и требованиями к данным, задержке и независимости от провайдера.