Что такое токены на входе и на выходе, и сколько примерно стоит один запрос к LLM?

Токен — это кусочек слова длиной примерно 3–4 символа на русском или 4 символа на английском. Счёт делится на две части: input tokens (то, что вы отправили модели — ваш prompt + история) и output tokens (то, что модель сгенерировала в ответ). Output обычно стоит в 4–5 раз дороже input. Примерный счёт для одного «Hello, world»-запроса к GPT-4o-mini: 0.0001–0.0005 цента.