Как защитить цепочку поставки модели: происхождение весов, подписанные релизы, целостность проверочных наборов и NIST AI RMF?
Цепочка поставки модели уязвима в четырёх точках: (1) подменённые веса — PoisonGPT (Mithril Security, 2023), а формат .bin на основе pickle умеет выполнять произвольный код при загрузке; (2) испорченные наборы данных — отравление в духе BadNets; (3) подмена проверочных наборов — модель показывает завышенные оценки; (4) угон зависимости — пакет с опечаткой в названии, langhain вместо langchain. Защита: подписи cosign / Sigstore на карточках моделей; формат safetensors вместо pickle — он не исполняет код; фиксация хеша SHA256 в карточке модели и манифесте; SLSA for AI — подтверждение происхождения сборки; манифест набора данных (хеш, лицензия, источник); проверочные наборы с версиями и подписями; pip-audit / Snyk / Dependabot для всех ML-зависимостей. Управление рисками — NIST AI RMF 1.0 (функции Govern / Map / Measure / Manage) и перечень компонентов (SBOM) для ML. Отдельная беда — закладка, которая срабатывает только на условный сигнал: обычные проверки её не видят, ловится лишь целенаправленной атакой своей же командой.