Как работает PyTorch autograd: что такое dynamic computational graph, requires_grad, grad_fn, и зачем нужны retain_graph, detach, no_grad?

PyTorch строит dynamic computational graph на лету: каждая операция над тензором с requires_grad=True записывает узел через grad_fn. backward() обходит граф по chain rule и заполняет .grad. retain_graph=True сохраняет граф для повторного backward, detach() обрывает gradient flow, torch.no_grad() отключает запись графа для inference.