Что такое LLM и как она работает на пользовательском уровне?

LLM (Large Language Model) — нейросеть на базе трансформера, обученная предсказывать следующий токен по контексту. Когда ты пишешь промпт, модель не «понимает» вопрос — она вычисляет вероятностное распределение по словарю токенов и сэмплирует один. Затем повторяет с обновлённым контекстом. Так формируется ответ — токен за токеном, авторегрессивно.