Что такое Lion optimizer, чем он отличается от AdamW и когда его стоит использовать?

Lion (EvoLved Sign Momentum) — optimizer, найденный AutoML-поиском Google (2023). Главная идея: update = lr * sign(momentum) — берётся знак градиента, а не магнитуда. По сравнению с AdamW хранит только m (без v), что даёт ~50% экономии памяти оптимизатора. Требует в 3–10× меньший LR и в 3–10× больший weight decay. Выгоден на больших моделях (ViT-G, Llama 7B+) с big batch sizes. Для fine-tuning и маленьких моделей AdamW остаётся надёжным baseline.