Перейти к содержимому
7 / 10

Как защитить LLM-приложение от утечки персональных данных: Microsoft Presidio, AWS Comprehend, свой распознаватель сущностей и фильтры на входе и выходе?

Персональные данные утекают четырьмя путями: (1) модель запомнила их при обучении и воспроизводит дословно (работы Carlini по GPT-2, иск NYT к OpenAI); (2) они лежат в документах RAG; (3) пользователь сам прислал их в промпте, и они осели в логах, трассировках и эмбеддингах; (4) в общем на несколько клиентов RAG данные одного клиента попали в выдачу другому. Защита — фильтрация с двух сторон: на входе и при загрузке документов в индекс (персональные данные вообще не попадают в векторную базу) и на выходе (проверяем ответ, вычищаем или блокируем). Инструменты: Microsoft Presidio (открытый, ищет имена, почту, телефоны, IBAN, номера страховок — распознаванием сущностей и по шаблонам, можно добавить свои), AWS Comprehend DetectPiiEntities, Google Cloud DLP InfoTypes. Полезен обратимый приём: заменить данные на метку <PII_email_1>, а восстановить только для того, кому положено. GDPR требует собирать минимум данных и уметь их удалять по требованию — причём вычищать нужно и эмбеддинги, и обучающие корпуса, а не только исходную базу.

Как защитить LLM-приложение от утечки персональных данных: Microsoft Presidio, AWS Comprehend, свой распознаватель сущностей и фильтры на входе и выходе? | JScriptiser