Чем отличаются BPE, WordPiece и SentencePiece как алгоритмы subword-токенизации?

BPE жадно сливает самую частую пару символов до заданного размера словаря. WordPiece (BERT) сливает пары, максимизирующие правдоподобие корпуса, а не частоту. SentencePiece (T5, LLaMA) работает с raw-текстом без пред-сегментации по пробелам, что важно для языков без пробелов (китайский, японский) и для мультиязычных моделей.