Зачем нужны residual (skip) connections и как они помогают gradient flow?

Residual connection — y = x + F(x). Делает обучение identity mapping легче (нужно лишь занулить F) и пропускает градиент прямой дорогой через +x. Без них градиент в глубоких сетях затухает и теряет сигнал. Идея ResNet (2015) сделала возможным обучение сетей с 100+ слоями; сегодня residuals — обязательная часть Transformer и всех современных архитектур.