Как выстроить проверку модели на обходы защиты и работу red team: Garak, PyRIT и регулярное тестирование?

Не ждите инцидента — атакуйте модель сами. NVIDIA Garak — сканер командной строки с наборами проб (dan, promptinject, lmrc, encoding, malwaregen) для разового аудита перед запуском. Microsoft PyRIT — программируемый фреймворк: свои сценарии, многоходовые атаки и оценщики результата — для глубоких проверок. Регулярная проверка — как гейт в CI: любое изменение промпта запускает набор Garak, и если стало хуже исходного уровня, merge блокируется. Метрики: доля успешных атак (ASR), доля отказов модели, соблюдение правил. Живая команда атакующих нужна там, где цена ошибки высока (медицина, право, финансы); программа вознаграждений за найденные дыры — для долгой дистанции. И правило: каждый инцидент навсегда превращается в тест-кейс.