Что такое токенизация простыми словами? Как текст превращается в числа?

Токенизация — это разрезать текст на маленькие кусочки (токены): чаще всего слова, иногда части слов или символы. После этого каждому кусочку даём номер из словаря — так текст превращается в список чисел, с которым уже умеет работать машина.