Ын Анналин, Су Кеннет

120
Глава 8
. 
Метод опорных векторов
Возраст 
Максимальный пульс во время упражнени
й
Рис. 1. Использование метода опорных векторов для обнаруже-
ния сердечно-сосудистых заболеваний. Темная область соответ-
ствует здоровым пациентам, а светлая — больным. Светлые и чер-
ные точки представляют собой здоровых и нездоровых пациентов 
соответственно
8.3. Построение оптимальной 
границы
Главная задача метода опорных векторов — построение 
оптимальной границы, которая отделяет одну группу от 

---

8.3. Построение оптимальной границы
121
другой. Это не так просто, как кажется, поскольку воз-
можных вариантов очень много (рис. 2).
Рис. 2. Множество способов разделить две группы
Чтобы найти оптимальную линию разграничения, нужно 
сначала найти периферийные элементы данных, которые 
находятся ближе всего к противоположной группе. Опти-
мальная граница проводится посередине между такими 
периферийными элементами данных в обеих группах 
(рис. 3). Поскольку эти элементы данных помогают обна-
ружить оптимальную линию разграничения, их называют 
опорными векторами.
Одно из преимуществ метода — скорость вычисления. 
Поскольку линия разграничения определяется только 
по периферийным элементам данных, для ее получения 
требуется меньше времени, чем для методов по типу ре-

---

122
Глава 8
. 
Метод опорных векторов
грессии (глава 6), которые выстраивают линию тренда 
с учетом всех элементов.
Рис. 3. Оптимальная граница находится посередине
между периферийными элементами данных из разных 
противоположных групп
Тем не менее эта манера опираться на отдельные элемен-
ты данных имеет оборотную сторону. Разделительная гра-
ница становится чувствительнее к положению опорных 
векторов, а значит, слишком зависит от набора данных, 
использованного для обучения модели. Более того, эле-
менты данных редко делятся так ровно, как показано на 
рис. 2 и 3. В реальности они часто перекрываются, как 
на рис. 1.
Чтобы справиться с этими проблемами, у метода опор-
ных векторов есть такая ключевая особенность, как 

---

8.3. Построение оптимальной границы
123
промежуточная область, которая позволяет ограни-
ченному числу элементов данных оказываться по дру-
гую сторону границы. В результате получается более 
«мягкая» граница, которая лучше справляется с резко 
отклоняющимися значениями и делает модель более 
масштабируемой.
Промежуточная область задается настройкой параметр 
стоимости (cost parameter), который задает допусти-
мую степень погрешностей классификации. Чем выше 
параметр стоимости, тем больше допустимый уровень 
ошибок и тем шире промежуточная область. Чтобы ито-
говая модель давала точный прогноз как для текущих, 
так и для новых данных, лучшее значение параметра 
стоимости можно найти путем кросс-валидации (раз-
дел 1.4).
Существенное достоинство метода опорных векторов 
состоит в его способности обнаруживать в данных кри-
волинейные паттерны. Хотя на это способны и другие 
алгоритмы, метод опорных векторов предпочитают из-за 
сочетания превосходной вычислительной эффективно-
сти и умения находить замысловатые криволинейные 
паттерны с помощью функции ядра (kernel trick).
Вместо того чтобы сразу прочерчивать границу на пло-
скости данных, метод опорных векторов сначала про-
ецирует их на дополнительное измерение, которое может 
быть отделено прямой линией (рис. 4). Эти прямые ли-
нии легче как вычислять, так и преобразовывать в кривые 
при возврате к изначальной размерности.

---