Перейти к содержимому
7 / 20

Инъекции в промпт и избыточные полномочия: как провести границы доверия в архитектуре агента?

Инъекция в промпт неустранима на уровне текста: модель принимает данные и инструкции по одному каналу, и надёжного разделителя между ними нет. Поэтому защита строится не «фильтром вредных фраз», а архитектурно: любые внешние данные считаются недоверенными, полномочия инструментов урезаны до минимума, необратимые действия требуют подтверждения человека, а выход модели никогда не исполняется напрямую. Инъекция и избыточные полномочия — первый и шестой пункты списка OWASP Top 10 для приложений на LLM редакции 2025 года, и опасны они именно в сочетании.

Инъекции в промпт и избыточные полномочия: как провести границы доверия в архитектуре агента? | JScriptiser