Я. Гудфеллоу, И. Бенджио, А. Курвилль

11.5. Стратегии отладки
Если система машинного обучения работает плохо, то обычно трудно сказать, в чем 
корень зла: то ли это недостаток самого алгоритма, то ли ошибка в его реализации. 
Отладка систем машинного обучения затруднена по разным причинам.
В большинстве случаев нам заранее неизвестно предполагаемое поведение алго-
ритма. Ведь суть машинного обучения в том и состоит, чтобы выявить некое полезное 
поведение, которое мы не смогли описать сами. Если мы обучили нейронную сеть 
новой
задаче классификации и получили на тестовом наборе ошибку 5 процентов, то 
как узнать, ожидаемое это поведение или далеко не оптимальное?
Следующая трудность заключается в том, что у большинства моделей машинного 
обучения несколько частей, и все они адаптивны. Если какая-то часть работает непра-
вильно, то остальные могут адаптироваться, и общее качество останется более-менее 
приемлемым. Предположим, к примеру, что мы обучаем нейронную сеть с несколь-
кими слоями, параметризованными весами 
W
и смещениями 
b
. Предположим еще, 
что мы вручную реализовали правила градиентного спуска для каждого параметра 
в отдельности, но допустили ошибку в обновлении смещений:

---

368 

 
Практическая методология 
b
⟵
b
– 
α
,
 
(11.4)
где 
α
– скорость обучения. В этом ошибочном правиле обновления градиент не ис-
пользуется вовсе. Поэтому в ходе обучения смещения всегда будут становиться отри-
цательными, что, очевидно, не может считаться корректной реализацией разумного 
алгоритма обучения. Но найти эту ошибку путем изучения выхода модели не всегда 
легко. При некоторых распределениях входных данных веса могут адаптироваться 
и компенсировать отрицательные смещения.
Большинство стратегий отладки нейронных сетей предназначено для преодоления 
одной из этих трудностей или сразу обеих. Либо мы строим тест настолько простой, 
что правильное поведение можно предсказать, либо такой, в котором проверяется 
лишь одна часть реализации сети изолированно от остальных.
Перечислим несколько важных стратегий отладки.
Визуализировать модель в действии.
Во время обучения модели обнаружения объ-
ектов в изображении показать несколько изображений с наложенными контурами 
обнаруженных объектов. Если обучается порождающая модель речи, прослушать не-
сколько сгенерированных ей образчиков. Вроде бы совершенно очевидно, но очень 
легко впасть в грех ознакомления только с количественными измерениями качества 
работы, например верности или логарифмического правдоподобия. Прямое наблюде-
ние за тем, как модель справляется со своей задачей, помогает установить, являются 
ли достигнутые ей количественные показатели разумными. Ошибки оценивания мо-
гут быть самыми губительными, потому что вселяют уверенность, что система рабо-
тает правильно, хотя на самом деле это совсем не так.
Визуализация самых серьезных ошибок.
Большинство моделей может вывести 
какой-то показатель уверенности в полученных результатах. Например, классифи-
каторы, в которых выходной слой основан на функции softmax, назначают вероят-
ность каждому классу. Следовательно, вероятность, назначенная самому вероятному 
классу, и дает оценку уверенности модели в принятом решении. Обычно обучение на 
основе максимального правдоподобия дает завышенные оценки, а не точные веро-
ятности правильного предсказания, но все равно они полезны, поскольку примеры, 
которые с меньшей вероятностью помечены правильно, получат от модели меньшую 
оценку вероятности. Изучив примеры, для которых модель испытывает наибольшие 
трудности, зачастую удается вскрыть проблемы в предобработке или пометке данных. 
Например, в системе транскрипции Street View была ошибка, из-за которой система 
обнаружения номера дома слишком сильно обрезала изображение, так что несколько 
цифр выпадало из кадра. Затем сеть транскрипции назначала слишком низкую ве-
роятность правильному ответу для таких изображений. После того как ошибка была 
исправлена и ширина обрезанного кадра стало гораздо больше, качество системы 
в целом резко возросло, хотя сети пришлось иметь дело с большей вариативностью 
позиций и масштабов номеров домов.
Логическое рассуждение о программе с использованием ошибок обучения и тестиро-
вания.
Часто бывает трудно определить, правильно ли реализована программа. Кое-
какую информацию можно получить из анализа ошибок обучения и тестирования. 
Если ошибка обучения мала, а ошибка тестирования велика, то, вероятно, процедура 
обучения работает правильно, а модель переобучена вследствие фундаментальных 
алгоритмических причин. Возможно также, что ошибка тестирования измерена не-
правильно из-за проблем в связи с сохранением обученной модели и последующей 

---

Стратегии отладки 

369
ее загрузкой для обработки тестового набора или из-за того, что тестовые данные го-
товились не так, как обучающие. Если и ошибка обучения, и ошибка тестирования 
велики, то трудно сказать, то ли это дефект программы, то ли модель недообучена 
вследствие фундаментальных алгоритмических причин. В таком случае необходимы 
дополнительные тесты, описанные ниже.
Аппроксимация крохотного набора данных.
Если ошибка на обучающем наборе ве-
лика, нужно решить, в чем причина: в недообученности или в дефекте программы. 
Обычно даже небольшую модель можно гарантированно обучить аппроксимации 
достаточно малого набора. Например, если набор для обучения классификатора со-
держит всего один пример, то для его аппроксимации достаточно просто правильно 
установить смещения в выходном слое. Если вы не можете обучить классификатор 
правильно помечать один пример, автокодировщик – успешно воспроизводить один 
пример с высокой точностью, или порождающую модель – устойчиво генерировать 
примеры, напоминающие заданный, то следует заподозрить ошибку в программе, 
препятствующую успешной оптимизации на обучающем наборе. Этот тест можно 
обобщить на наборы данных с небольшим числом примеров.
Сравнение производных, вычисленных методом обратного распространения, с чис-
ленными производными.
Если программная система требует, чтобы вы самостоятель-
но реализовали вычисления градиента, или если вы добавили новую операцию в биб-
лиотеку дифференцирования и должны определить для нее метод 
bprop
, то частой 
причиной ошибок является некорректная реализация выражения градиента. Прове-
рить, так ли это, можно, сравнив производные, вычисленные вашей процедурой авто-
матического дифференцирования, с производными, вычисленными методом конеч-
ных разностей. Поскольку
 
(11.5)
мы можем аппроксимировать производную, взяв малое значение 
ε
:
 
(11.6)
Точность аппроксимации можно повысить, вычислив