Что такое batch size, epoch и mini-batch, и какие компромиссы между ними?

Epoch — один полный проход через весь обучающий датасет. Batch size — количество примеров, которые сеть обрабатывает за один шаг градиента. Mini-batch — подмножество данных размера batch size. Маленький batch (8–32) даёт шумные градиенты и хорошую обобщающую способность, но обучение медленное. Большой batch (256–1024+) считается быстрее на GPU, но может ухудшить генерализацию и требует масштабирования lr.