6 / 10
Как найти и перекрыть утечку секретов в LLM-приложении: ключи API, переменные окружения и пароли в промптах, логах и ответах?
Утечка секретов в LLM-приложении случается, когда ключи API, пароли или доступы к базе попадают в системный промпт, дампы переменных окружения, тексты ошибок, индекс RAG или сгенерированный код — а оттуда уходят в ответ пользователю, в трассировки, логи или векторное хранилище. Защита: не класть настоящие секреты в контекст — пусть запрос уходит через серверный посредник; сканировать промпты и репозитории через detect-secrets, truffleHog, GitGuardian; вычищать чувствительное в системах трассировки (Langfuse, LangSmith); выдавать ключи только на чтение, с узкими правами и регулярной заменой; добавить в Presidio свои распознаватели по характерному виду ключей (AWS — AKIA, OpenAI — sk-, GitHub — ghp_).