Я. Гудфеллоу, И. Бенджио, А. Курвилль

134 

 
Основы машинного обучения 
считать непараметрическим, если ему разрешено обучать дерево произвольного раз-
мера, хотя обычно решающие деревья регуляризируются с помощью ограничений на 
размер, так что на практике модель становится параметрической. В том виде, в каком 
решающие деревья обычно используются – с осепараллельным разделением в узлах 
и постоянным выходом в каждом узле, – они с трудом решают некоторые задачи, 
с которыми легко справляется даже логистическая регрессия. Например, если име-
ется двухклассовая задача и класс положителен тогда и только тогда, когда 
x
2
> 
x
1
, 
то решающая граница не параллельна оси. Поэтому решающему дереву придется 
аппроксимировать решающую границу большим количеством узлов – реализовать 
ступенчатую функцию с осепараллельными шагами, которая постоянно колеблется 
по обе стороны истинной решающей функции.
Как мы видели, у предикторов на основе ближайших соседей и решающих деревьев 
много ограничений. Тем не менее эти алгоритмы обучения полезны, когда мы стес-
нены в вычислительных ресурсах. Мы также можем интуитивно оценить поведение 
более сложных алгоритмов обучения, размышляя о сходстве и различии между ними 
и эталонами: ближайшими соседями и решающими деревьями. Дополнительный 
материал об алгоритмах обучения с учителем см. в работах Murphy (2012), Bishop 
(2006), Hastie et al. (2001) и других учебниках по машинному обучению.
5.8. Алгоритмы обучения без учителя
Напомним (раздел 5.1.3), что алгоритмом обучения без учителя называется алго-
ритм, который получает на входе только «признаки» без какой-либо подсказки со 
стороны учителя. Различие между обучением с учителем и без учителя определено не 
формально и жестко, потому что не существует объективного критерия, что считать 
признаком, а что – меткой. Неформально под обучением без учителя понимают по-
пытки извлечь информацию из распределения, выборка из которого не была вручную 
аннотирована человеком. Этот термин обычно ассоциируется с оцениванием плотно-
сти, выборкой примеров из распределения, очисткой выбранных из некоторого рас-
пределения данных от шума, нахождением многообразия, рядом с которым распола-
гаются данные, или кластеризацией данных – выделением групп похожих примеров.
Классическая задача обучения без учителя – найти «наилучшее» представление 
данных. Под «наилучшим» можно понимать разные вещи, но в общем случае ищется 
представление, которое сохраняет как можно больше информации о