Чем отличаются filter, wrapper и embedded методы feature selection, и когда что использовать?

Filter — model-agnostic, считается один раз: Pearson/Spearman для регрессии, Chi² для категориальной классификации, mutual information для нелинейных зависимостей. Быстро, но игнорирует взаимодействия. Wrapper — оборачивает конкретную модель (forward/backward/RFECV); даёт лучшее подмножество, но дорого. Embedded — отбор внутри обучения: L1 (Lasso) зануляет коэффициенты, tree-based feature_importances_. Permutation importance — пост-обучение, model-agnostic, надёжнее impurity-based importance Random Forest. Типичный pipeline на high-dim данных: filter → embedded/wrapper, отбор только на train (иначе leakage), Lasso всегда после StandardScaler.