Ын Анналин, Су Кеннет

110
Глава 7
. 
Метод k -ближайших соседей
го значения k является примером настройки параметра 
(раздел 1.3) и критически важен для точности прогно-
зирования.
a) переобучение
b) идеальное 
обучение
c) недообучение
k = 3
k = 17
k = 50
Рис. 2. Сравнение моделей настройки при различных 
значениях k. Предполагается, что точки в черной зоне должны 
соответствовать белым винам, а в серой — красным
Если значение k слишком мало (рис. 2, а), то элементы 
данных совпадут только для непосредственных соседей, 
и погрешности, вызванные случайным шумом, усилятся. 
Если значение k слишком велико (рис. 2, с), то элементы 
данных будут классифицироваться слишком неточно, 
а выявленные закономерности окажутся размытыми. 
Но когда значение k выбрано удачно (рис. 2, b) то по-
грешности в классификации элементов данных взаимо-
погашаются, выявляя тонкие тренды среди имеющихся 
данных.
Для достижения наилучшей настройки параметр k мо-
жет быть вычислен путем кросс-валидации (раздел 1.4). 

---

7.3. Пример: истинные различия в вине
111
В случае с бинарной (двухклассовой) задачей класси-
фикации можно избежать проблемы равновероятности 
распределения, задав для k нечетное значение.
Вместо классификации элементов данных в группы 
метод k-ближайших соседей может также использо-
ваться для прогнозирования непрерывных значений 
путем агрегирования соседних значений. Помимо того, 
чтобы рассматривать всех соседей как равноценных, 
можно улучшить оценку, используя весовой параметр. 
Значения ближайших соседей могут точнее отражать 
истинное значение элемента данных, чем отдаленных, 
поэтому иногда на них стоит ориентироваться в большей 
степени.