Чем отличаются сегментаторы nnU-Net, Mask2Former, Mask DINO, SegFormer и OneFormer — и какой выбрать для семантической, экземплярной и паноптической сегментации?

Сегментация ушла от моделей под одну задачу к универсальным архитектурам. Три вида задач: семантическая — покрасить каждый пиксель в класс («это дорога, это небо»); экземплярная — различить отдельные объекты одного класса («машина №1, машина №2»); паноптическая — и то и другое сразу. Mask2Former (Cheng et al., CVPR 2022) и OneFormer (Jain et al., CVPR 2023) решают все три одной моделью. Mask DINO (Li et al., CVPR 2023) объединяет детекцию и сегментацию поверх DINO/DETR — лучший результат на паноптическом COCO. SegFormer (Xie et al., NeurIPS 2021) — экономный трансформер для мобильных и слабых устройств. nnU-Net (Isensee et al., Nature Methods 2021) остаётся золотым стандартом в медицинских снимках: он сам подбирает себе конфигурацию, ручная настройка не нужна. Как выбирать: медицина и трёхмерные снимки → nnU-Net; универсальный вариант общего назначения → Mask2Former; максимальное качество паноптической сегментации → Mask DINO; слабое железо → SegFormer-B0; несколько задач одной моделью → OneFormer.