2 / 10
Что такое indirect prompt injection и как защищаться при работе с RAG / web tools / непроверенными документами?
Indirect prompt injection (Greshake et al. 2023, «Not what you've signed up for») — атака, где payload спрятан в данных, которые агент потом обрабатывает: документ из RAG-индекса, web-страница в результатах tools.search(), входящий email, PDF от клиента. В отличие от direct injection (пользователь сам пишет «Ignore previous instructions»), здесь жертва — сам пользователь, а attacker контролирует только источник данных. Защита — defense-in-depth: prompt-injection detectors (rebuff, ProtectAI), structured input separation (XML tags), capability constraints (least-privilege tools), HITL approval для high-risk actions, output monitoring, sandboxing tool execution.