Чем отличаются Batch / Layer / Group / Instance normalization и где какая применяется?

Все они вычитают среднее и делят на std, но по разным осям. BatchNorm — по batch+spatial для каждого канала: классические CNN, нужен большой batch. LayerNorm — по features для каждого образца: Transformer, RNN, малый/динамический batch. InstanceNorm — по spatial для каждого образца+канала: style transfer, GAN. GroupNorm — между LN и IN, делит каналы на группы: детекция/сегментация при малом batch.