Перейти к содержимому
32 / 39

Какие бывают виды утечки данных (data leakage) и как не допустить их в ML-конвейере?

Data leakage — это попадание в train-данные информации из test, будущего или самого таргета. Симптом: train и val метрики великолепны, а в проде модель катастрофически плохо работает. Основные виды: target leakage (фича содержит сам ответ), train-test contamination (preprocessing fit на полном датасете), temporal leakage (shuffle time-series), group leakage (один пациент в train и test). Главное противоядие — Pipeline + ColumnTransformer + правильный CV splitter (GroupKFold, TimeSeriesSplit) с fit только на train-части каждого fold.

Какие бывают виды утечки данных (data leakage) и как не допустить их в ML-конвейере? | JScriptiser