Что такое prompt engineering и почему один и тот же запрос даёт разные ответы?

Prompt engineering — практика проектирования входных текстов так, чтобы языковая модель стабильно выдавала нужный результат. Один и тот же запрос даёт разные ответы из-за семплинга: модель не выбирает «самый вероятный» токен, а семплит из распределения с параметрами temperature и top_p. Чем выше temperature, тем больше разброс. Чёткий промпт + temperature=0 сильно стабилизируют вывод.