Skip to content
32 / 39

Какие бывают виды data leakage и как их предотвращать в ML-пайплайне?

Data leakage — это попадание в train-данные информации из test, будущего или самого таргета. Симптом: train и val метрики великолепны, а в проде модель катастрофически плохо работает. Основные виды: target leakage (фича содержит сам ответ), train-test contamination (preprocessing fit на полном датасете), temporal leakage (shuffle time-series), group leakage (один пациент в train и test). Главное противоядие — Pipeline + ColumnTransformer + правильный CV splitter (GroupKFold, TimeSeriesSplit) с fit только на train-части каждого fold.

Какие бывают виды data leakage и как их предотвращать в ML-пайплайне? | JScriptiser