19 / 25
Как устроены DETR / Deformable DETR / RT-DETR / Co-DETR: set prediction, Hungarian matching, и почему transformer-detector NMS-free?
DETR (Carion ECCV 2020) переформулировал object detection как set prediction: модель напрямую выдаёт фиксированный набор N предсказаний через transformer encoder-decoder; Hungarian matching связывает predictions с ground truth bipartite-матчингом, исключая дубликаты — отсюда NMS-free by design. Deformable DETR (Zhu 2021) ввёл sparse multi-scale deformable attention, ускоряющую сходимость с 500 эпох до 50. RT-DETR (Baidu 2023) — hybrid encoder + IoU-aware query selection, real-time на T4 GPU; RT-DETR-X ≈ 54.8 AP@COCO. Co-DETR (Zong ICCV 2023) добавил Collaborative Hybrid Assignments и достиг SOTA 66.0 AP с EVA-02 backbone.