Какие методы регуляризации используются в нейронных сетях (dropout, batch normalization, weight decay, early stopping)?

Dropout случайно отключает нейроны (p=0.1–0.5) — заставляет сеть не зависеть от отдельных фич. BatchNorm нормализует активации внутри батча — стабилизирует обучение и работает как мягкая регуляризация. Weight decay (L2) штрафует большие веса. Early stopping прерывает обучение, когда validation loss перестал падать. Часто комбинируются.