Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
(1)
, 
x
(2)
,…, 
x
(
m
)
}. Такая нотация не предпо-
лагает, что любые два вектора-примера 
x
(
i
)
и 
x
(
j
)
имеют одинаковый размер.
В случае обучения с учителем пример содержит не только набор признаков, но и мет-
ку. Так, если мы хотим обучить алгоритм распознавать объекты на фотографиях, то 
должны будем указать, какие объекты присутствуют на каждой фотографии. Для это-
го можно задавать числовой код: 0 – человек, 1 – автомобиль, 2 – кошка и т. д. Часто 
при работе с набором данных в виде матрицы плана с наблюдаемыми признаками 
X
мы 
предоставляем также вектор меток 
y
, в котором элемент 
y
i
содержит метку 
i
-го примера.
Конечно, не всегда метка – единственное число. Так, если мы хотим научить систе-
му распознавания речи транскрибировать целые предложения, то меткой для каждо-
го примера будет последовательность слов. Как не существует формального опреде-
ления обучения с учителем и без учителя, так нет и строгой систематизации наборов 
данных или видов опыта. Описанные выше структуры покрывают большинство слу-
чаев, но для новых приложений всегда можно придумать что-то необычное.
5.1.4. Пример: линейная регрессия
Наше определение алгоритма машинного обучения как алгоритма, способного улуч-
шить качество работы программы для решения некоторой задачи на основе опыта, 
звучит несколько абстрактно. Чтобы добавить конкретики, приведем пример прос-
того алгоритма машинного обучения: линейной регрессии. Мы будем не раз воз-
вращаться к нему по ходу знакомства с дополнительными концепциями машинного 
обуче ния, чтобы лучше понять поведение алгоритма.
Как следует из названия, линейная регрессия решает задачу регрессии. Иными 
словами, наша цель – построить систему, которая принимает на входе вектор 
x
∈
ℝ
n
, 
а на выходе
порождает скалярное значение 
y
∈
ℝ
. Результатом линейной регрессии 
является линейная функция входных данных. Обозначим 
y
�
– значение 
y
, предсказан-
ное моделью. Определим результат модели в виде
y
�
=