Спроектируйте сбор разметки и активное обучение: как получить метки за разумные деньги?

Разметка — это проект с бюджетом, а не разовая закупка. Работающая схема: инструкция и дерево классов → пилот на 200–500 примерах с замером согласованности → основной поток с золотым набором для контроля → активное обучение для выбора следующих примеров. Метки берут из четырёх источников: люди, слабый надзор правилами, псевдо-метки модели и генерация моделью с последующей выборочной проверкой человеком. Главный риск активного обучения — смещение выборки: отбор «сложных» примеров ломает оценку качества, поэтому тестовый набор всегда набирается случайно.