Как работает k-NN, как выбрать k и почему важно масштабирование признаков?

k-Nearest Neighbors — lazy-алгоритм без обучения: для нового примера ищет k ближайших соседей в train и предсказывает по их меткам (majority vote или среднее). k подбирается через CV: маленькое k = высокая дисперсия, большое = высокое смещение. Масштабирование критично, потому что евклидова дистанция доминируется признаками с большим диапазоном.