Я. Гудфеллоу, И. Бенджио, А. Курвилль

обучения с подкреплением
взаимо-
действуют с окружающей средой, так что между системой обучения и ее опытом обра-
зуется контур с обратной связью. Такие алгоритмы выходят за рамки нашей книги. 
Дополнительные сведения об обучении с подкреплением см. в работах Sutton and 
Barto (1998) или Bertsekas and Tsitsiklis (1996), а о подходе к этой теме на основе 
глубокого обучения – Mnih et al. (2013).
В большинстве алгоритмов машинного обучения опытом является просто набор 
данных, который можно описать разными способами. Но в любом случае набор дан-
ных – это совокупность примеров, каждый из которых является совокупностью при-
знаков.
Один распространенный способ описания набора данных – 
матрица плана
. В стро-
ках этой матрицы расположены примеры, а в столбцах – признаки. Например, в на-
боре данных Iris 150 примеров с четырьмя признаками на каждый. Следовательно, его 
можно представить матрицей плана 
X
∈
ℝ
150
×
4
, где 
X
i
, 1
–
длина чашелистика 
i
-го расте-
ния, 
X
i
, 1
– ширина чашелистика 
i
-го растения и т. д. Большинство алгоритмов обуче-

---

Алгоритмы обучения 

103
ния в этой книге описывается в терминах работы с наборами данных, представленны-
ми в виде матрицы плана.
Разумеется, описать набор данных матрицей плана можно, только если каждый 
пример описывается вектором, причем все эти векторы должны быть одинакового 
размера. Так бывает не всегда. Например, в коллекции фотографий разной ширины 
и высоты фотографии состоят из разного числа пикселей и, значит, описываются 
векторами разной длины. В разделе 9.7 и в главе 10 мы обсудим, как работать с гете-
рогенными данными. В подобных случаях набор данных описывается не матрицей 
с 
m
строками, а множеством 
m
элементов: {