Какие бывают расписания шага обучения (прогрев, косинусное затухание, OneCycle, снижение при застое) и когда какое выбирать?

Постоянный шаг обучения почти всегда неоптимален. Расписание меняет шаг во времени: прогрев (warmup) — плавный подъём от 0 до целевого за первые 1–5% шагов — обязателен для больших трансформеров. Косинусное затухание — плавное снижение по косинусу до 0, стандарт для LLM и ViT. OneCycle (Smith 2018) даёт «сверхбыструю сходимость» и любим в компьютерном зрении. Снижение при застое (ReduceLROnPlateau) уменьшает шаг, когда ошибка на валидации перестаёт падать, — удобно для долгого обучения без чёткого конца. StepLR/MultiStepLR — жёсткое снижение в заданных точках, старая школа.