Может ли LLM «думать» и что значит «галлюцинирует» — почему она иногда уверенно врёт?

LLM не думает в человеческом смысле — она вычисляет вероятности следующих слов. Галлюцинация — это когда модель выдаёт правдоподобную выдумку: несуществующая книга, фейковая цитата, метод API, которого нет. Это происходит потому, что её никто не учил говорить «не знаю» — её учили выдавать наиболее вероятное продолжение текста, а правдоподобный ответ для неё всегда вероятнее, чем «извините, не знаю».