Как работает backpropagation и что такое vanishing/exploding gradients?

Backpropagation — алгоритм вычисления градиентов loss по весам через цепное правило, идущий от выхода ко входу. Веса обновляются по формуле w := w - lr * ∂L/∂w. Vanishing gradients — градиенты экспоненциально уменьшаются в глубоких сетях (sigmoid/tanh), и ранние слои перестают обучаться. Exploding gradients — наоборот, экспоненциально растут; решается gradient clipping и нормализацией.