Перейти к содержимому
2 / 10

Как считать расход токенов и денег в проде: разбивка по пользователям и функциям, бюджеты и оповещения?

Учёт расходов в проде — это не подсчёт токенов заранее через tiktoken (это отдельная задача), а привязка + агрегация + оповещения. Каждый вызов модели помечается метаданными: userId, feature, route, model, prompt_version → и это сводится в дашбордах Langfuse / LangSmith / Helicone или в собственной таблице учёта в Postgres. Стоимость = число токенов × цена из тарифа модели (у каждой модели своя цена за 1 млн токенов на входе и выходе — актуальные числа берите из прайса вендора, они меняются каждые несколько месяцев). Оповещения о бюджете: сообщение в Slack, когда дневной расход превысил порог; жёсткий лимит = вернуть ошибку 429 при достижении дневного или пользовательского лимита. Важно: разбивайте расходы по модели — так видно, где можно удешевить.

Как считать расход токенов и денег в проде: разбивка по пользователям и функциям, бюджеты и оповещения? | JScriptiser