Что такое «токен» в LLM простыми словами и почему счёт идёт в токенах, а не в словах?

Токен — это кусочек слова, на которые модель разбивает текст: короткое слово часто = 1 токен, длинное слово = 2–4 токена, пробелы и знаки препинания тоже считаются. Счёт идёт в токенах, потому что модель «видит» именно их, а не слова — она оперирует ими, как ты буквами при письме. Цена API и лимит контекста тоже считаются в токенах.