Как организовать jailbreak testing и red-team workflows для LLM в production: Garak, PyRIT, continuous testing?

Не дожидайся инцидента — атакуй модель сам. NVIDIA Garak — CLI-сканер с probes (dan, promptinject, lmrc, encoding, malwaregen) для one-off аудита перед launch. Microsoft PyRIT — программируемый фреймворк с orchestrator'ами, multi-turn атаками и score evaluators для глубоких сценариев. Continuous red-team — CI gate: каждый prompt-change запускает Garak suite, regression выше baseline = блок merge. Метрики: ASR (attack success rate), refusal rate, policy adherence. Human red-team — для high-stakes (medical / legal / financial), bug bounty — для долгосрочного наблюдения, incident → test case forever.