Skip to content
17 / 31

Как версионировать датасеты: DVC, Git LFS, lakeFS, MLflow datasets — и почему git недостаточно?

Git хранит всю историю содержимого → большие бинарные файлы раздувают репозиторий и ломают clone. Для датасетов используем pointer-системы: DVC (.dvc-файлы + remote S3/GCS, pipeline-aware), Git LFS (простой, но дорогой и без pipeline), lakeFS (Git-семантика поверх object storage), MLflow datasets (metadata-only, hash + source). Reproducibility = код + параметры + запинённая версия данных в model registry.

Как версионировать датасеты: DVC, Git LFS, lakeFS, MLflow datasets — и почему git недостаточно? | JScriptiser