Перейти к содержимому
25 / 25

Какие метрики использовать в компьютерном зрении: mAP по COCO (AP50, AP75), IoU, Dice, паноптическое качество (PQ), Recall@K — какая метрика для какой задачи и где подводные камни?

Какая метрика под какую задачу: детекция → mAP по COCO (AP усредняется по порогам от .5 до .95, плюс отдельно AP50 и AP75); семантическая сегментация → mIoU (Cityscapes, ADE20K) или Dice (в медицине); паноптическая сегментация → PQ = SQ × RQ, качество масок, умноженное на качество распознавания; визуальный поиск → Recall@K и NDCG@K; классификация → доля правильных ответов top-1 / top-5. IoU (мера Жаккара) = площадь пересечения, делённая на площадь объединения предсказанной и настоящей области: TP/(TP+FP+FN). Это кирпичик, на котором стоят все метрики детекции и сегментации. Подводные камни: AP50 и AP75 — это одна метрика с разной строгостью к совпадению рамок, их нельзя сравнивать между собой; Dice мягче к мелким пропускам, чем кажется; PQ смешивает качество масок и качество распознавания, поэтому напрямую с IoU не сопоставим; Recall@K без переранжирования прячет ложные срабатывания. Чем считать: pycocotools COCOeval, torchmetrics (MeanAveragePrecision, JaccardIndex, Dice), а Recall@K — своим кодом поверх FAISS.

Какие метрики использовать в компьютерном зрении: mAP по COCO (AP50, AP75), IoU, Dice, паноптическое качество (PQ), Recall@K — какая метрика для какой задачи и где подводные камни? | JScriptiser