Что такое токенизация и какие уровни разбиения текста существуют?

Токенизация — разбиение текста на единицы (токены), с которыми работает модель. Бывает на уровне слов (split по пробелам/пунктуации), символов (каждый символ — токен) и subword (BPE, WordPiece, SentencePiece). Subword победил в трансформерах: малый словарь, нет OOV-проблемы, морфологически осмысленные куски.