Перейти к содержимому
8 / 12

Изоляция данных при своём инференсе: промпты, логи и персональные данные

Своя инфраструктура часто выбирается ради приватности, но сама по себе она её не даёт: данные пользователей всё равно проходят через промпты, логи, кэши и трассировки. Что нужно закрыть. Логи: по умолчанию инференс-сервер и приложение логируют промпты целиком — это самый частый канал утечки; включают маскирование, ограничивают уровень детализации и хранят полные тексты только там, где это осознанно разрешено, с коротким сроком. Трассировки и системы наблюдаемости: атрибуты спанов уезжают во внешний сервис, поэтому промпты и ответы в них либо не кладут, либо маскируют. Кэши: ключ, включающий идентификатор пользователя, и запрет на глобальное кэширование персонального. Изоляция арендаторов: отдельные пространства имён, сетевые политики, отдельные тома — чтобы модель одного клиента не видела данные другого. Хранение обучающих данных: согласие, срок хранения, удаление по запросу. И отдельная задача — защита от утечки через саму модель: дообучение на пользовательских данных способно воспроизвести их в ответах.

Изоляция данных при своём инференсе: промпты, логи и персональные данные | JScriptiser