Я. Гудфеллоу, И. Бенджио, А. Курвилль

Рис. 15.1 

Визуализация посредством нелинейного проецирования 
траекторий обучения различных нейронных сетей в 
пространстве функций
(не в пространстве параметров, чтобы избежать проблемы отображения 
нескольких векторов параметров на одну функцию) с различными случайно 
выбранными начальными значениями, с предобучением и без него. Каж-
дой точки соответствует отдельная нейронная сеть в определенный мо-
мент процесса обучения. Рисунок основан на рисунке из работы в Erhan et 
al. (2010). В пространстве функций координатой является бесконечномер-
ный вектор, ассоциирующий каждый вход 
x
с выходом 
y
. В работе Erhan et 
al. (2010) производилось линейное проецирование на пространство высо-
кой размерности путем конкатенации значений 
y
для многих точек 
x
с по-
следующим нелинейным проецированием на плоскость методом Isomap 
(Тenenbaum et al., 2000). Цветом представлено время. Все сети инициа-
лизированы вблизи центральной точки графика (соответствует области 
в пространстве функций, где порождаются приблизительно равномерные 
распределения класса 
y
для большинства входов). С течением времени 
обучение сдвигает функцию наружу – туда, где предсказания увереннее. 
Обучение стабильно завершается в одной области, если предобучение 
применяется, и в другой – если не применяется. Метод Isomap стремится 
сохранить глобальные относительные расстояния (а стало быть, и объемы), 
поэтому небольшой размер области, соответствующей предобученным 
моделям, может указывать на то, что у оценки, полученной с применением 
предобучения, дисперсия меньше.
В работе Erhan et al. (2010) даны также некоторые ответы на вопрос о том, 
ког-
да
предобучение работает лучше всего, – среднее и дисперсия ошибки тестирова-
ния уменьшались тем сильнее, чем более глубокая сеть подвергалась предобучению. 
Следует помнить, что эти эксперименты проводились до того, как были изобретены 
и обрели популярность современные методы обучения очень глубоких сетей (блоки 
линейной ректификации, прореживание и пакетная нормировка), поэтому о совмест-
ном эффекте предобучения без учителя и современных подходов известно меньше.

---