Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
; 
θ
) = 
σ
(
θ
⏉
x
)
.
(5.81)

---

130 

 
Основы машинного обучения 
Этот подход называется 
логистической регрессией
(довольно странное название, 
поскольку модель используется не для регрессии, а для классификации).
В задаче линейной регрессии мы смогли найти оптимальные веса, решив нормаль-
ные уравнения. С логистической регрессией дело обстоит сложнее. В этом случае не 
существует замкнутой формулы для нахождения оптимальных весов. Их нужно ис-
кать путем максимизации функции логарифмического правдоподобия. Сделать это 
можно, найдя минимум отрицательного логарифмического правдоподобия методом 
градиентного спуска.
Ту же стратегию можно применить практически к любой задаче обучения с учите-
лем, выписав параметрическое семейство условных распределений вероятности под-
ходящих входных и выходных величин.
5.7.2. Метод опорных векторов
Из методов, оказавших наибольшее влияние на обучение с учителем, следует упомя-
нуть прежде всего метод опорных векторов (support vector machine – SVM) (Boser et 
al., 1992; Cortes and Vapnik, 1995). Эта модель похожа на логистическую регрессию 
тем, что описывается линейной функцией 
w
⏉
x
+ 
b
. Но, в отличие от логистической 
регрессии, метод опорных векторов вычисляет не вероятности, а только класс. SVM 
предсказывает положительный класс, если значение 
w
⏉
x
+ 
b
положительно, и отри-
цательный – если оно отрицательно.
Одно из основных новшеств, принесенных методом опорных векторов, – это 
kernel
trick
(трюк с ядром). Идея этого приема заключается в том, что многие алгоритмы ма-
шинного обучения можно выразить исключительно в терминах скалярного произве-
дения примеров. Например, можно показать, что линейную функцию, используемую 
в методе опорных векторов, можно переписать в виде: