В чём разница между SGD, Momentum, Adam, AdamW и RMSprop, и как настраивать learning rate?

SGD — обновляет веса по мгновенному градиенту. Momentum добавляет инерцию (накопленное направление). RMSprop — адаптивный шаг по второму моменту градиента. Adam = Momentum + RMSprop, дефолт для большинства задач. AdamW правит баг weight decay в Adam — корректнее для трансформеров. Learning rate — самый важный гиперпараметр; используй scheduler (cosine, warmup) и LR finder.