Что такое токенизация (BPE, tiktoken) и как считать стоимость запроса?

Токенизация — разбиение текста на единицы из словаря модели. Современные LLM используют BPE (Byte-Pair Encoding) или его варианты. Токен — это не слово и не символ; для английского ≈ 0.75 слов на токен, для русского — хуже (часто 1 слово = 2-3 токена). Стоимость API считается в токенах: input и output по разным тарифам. Для подсчёта используется tiktoken (OpenAI) или нативный токенизатор провайдера.