Что такое непрямая инъекция в промпт (indirect prompt injection) и как защищаться, когда модель читает документы из RAG, веб-страницы и чужие файлы?

Непрямая инъекция в промпт (Greshake et al., 2023, «Not what you've signed up for») — атака, где вредоносная инструкция спрятана в данных, которые агент потом прочитает: документ из индекса RAG, веб-страница в результатах tools.search(), входящее письмо, присланный клиентом PDF. В отличие от прямой инъекции, где пользователь сам пишет «игнорируй предыдущие инструкции», здесь пользователь — жертва, а злоумышленник управляет только источником данных. Защита — в несколько слоёв: детекторы инъекций (rebuff, ProtectAI); чёткое отделение данных от инструкций (например, XML-тегами); минимум прав у инструментов; подтверждение человеком для опасных действий; наблюдение за тем, что модель выдаёт; запуск инструментов в песочнице.