Что такое разбор ошибок модели и как оценивать качество по срезам данных вместо одного общего числа?

Разбор ошибок (error analysis) — систематический анализ, где модель ошибается, а не констатация «AUC вырос на 2%». Оценка по срезам делит тест на сегменты (возраст, регион, время) и считает метрику по каждому отдельно: большой разброс между срезами = проблема со справедливостью или устойчивостью. Дополните разбором матрицы ошибок по срезам и разбором самых уверенных промахов (наибольшая вероятность среди ложноотрицательных) — это вскрывает шум в разметке и подгруппы, где модель сыпется.