accelerate: как обучать на нескольких GPU без боли с distributed training?

accelerate — это тонкая обёртка от Hugging Face, которая прячет boilerplate distributed-обучения: DDP, FSDP, DeepSpeed, mixed precision. Один и тот же код тренировочного цикла запускается на CPU, одной GPU, 8 GPU или нескольких узлах — отличается только команда accelerate launch. Никаких ручных torch.distributed.init_process_group.