Что такое градиентный спуск и зачем он нужен в машинном обучении?

Градиентный спуск — итеративный алгоритм оптимизации, который минимизирует функцию потерь, двигая параметры модели в направлении, противоположном градиенту. Формула одного шага: θ ← θ − α · ∇L(θ), где α — learning rate. Это базовый движок обучения почти всех ML- и DL-моделей: линейной/логистической регрессии, SVM, нейросетей. Варианты: batch (весь датасет), stochastic (один пример), mini-batch (стандарт в DL).