tokenizers: что такое BPE/WordPiece и зачем fast tokenizer вместо обычного?

Токенизация — разбивка текста на подслова, которые модель умеет читать. BPE (GPT/Llama), WordPiece (BERT) и SentencePiece (T5) — три главных алгоритма; они учат «словарь» из часто встречающихся кусков. Fast tokenizer написан на Rust и работает в 50–100 раз быстрее Python-версии — на больших корпусах это часы вместо дней.