Что такое регуляризация в ML и какие у неё основные семейства методов?

Регуляризация — это любые приёмы, которые ограничивают пространство решений модели, чтобы снизить переобучение и улучшить обобщение. Основные семейства: L1/L2 штрафы на веса, dropout и batch normalization для нейросетей, early stopping, data augmentation, ансамблирование. Цель одна — не дать модели выучить шум обучающей выборки и заставить её предпочитать более простые гипотезы (Occam's razor).