Как считать и снижать стоимость LLM-продукта: кэш промптов, пакетные режимы, сжатие контекста?

Считать стоимость надо не «за запрос», а за единицу продуктовой ценности — за решённую задачу, за обработанный документ, за активного пользователя в месяц. Снижать — по убыванию отдачи: сначала кэш промптов (кэшированный ввод стоит примерно десятую часть обычного), затем пакетные режимы для нетерминальных задач (около половины цены), затем сокращение контекста, и только потом — роутинг на модель попроще.