Перейти к содержимому
17 / 20

Сколько данных нужно модели: как построить кривую обучения и понять, когда данные перестают помогать?

Ответ получают экспериментом, а не интуицией: обучают одну и ту же модель на 10%, 25%, 50%, 100% выборки и рисуют качество от размера. Кривая почти всегда логарифмическая — каждое удвоение данных даёт всё меньший прирост. По наклону хвоста экстраполируют выигрыш от следующего удвоения и сравнивают его со стоимостью разметки. Если кривая вышла на плато, деньги надо вкладывать в признаки, качество меток или другую постановку, а не в объём.

Сколько данных нужно модели: как построить кривую обучения и понять, когда данные перестают помогать? | JScriptiser