Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) на этой выборке. 
Чтобы емкость новой модели использовалась наиболее эффективно, лучше выбирать 
новые точки 
x
из распределения, похожего на реальные тестовые данные, которые бу-
дут предъявлены модели впоследствии. Это можно сделать, слегка исказив обучаю-
щие примеры или произведя выборку из порождающей модели, обученной на исход-
ном обучающем наборе.
Альтернативно можно обучить меньшую модель только на исходных обучающих 
примерах, но научить ее копировать другие признаки модели, например апостериор-
ное распределение неправильных классов (Hinton et al., 2014, 2015).
12.1.5. Динамическая структура
Одна из общих стратегий ускорения систем обработки данных – построить систе-
му с 
динамической структурой
в виде графа, описывающего вычисления, необходи-
мые для обработки входных данных. Системы обработки данных могут динамически 
определить, какую часть большого множества нейронных сетей выполнять для за-
данного входа. Отдельные нейронные сети также могут иметь внутреннюю динами-
ческую структуру, т. е. определять, какое подмножество признаков (скрытых блоков) 
вычислять при имеющейся входной информации. Такую форму динамической струк-
туры внутри нейронной сети иногда называют 
условным вычислением
(Bengio, 2013; 
Bengio et al., 2013b). Поскольку многие компоненты архитектуры могут иметь отно-
шение только к небольшому количеству возможных входов, система будет работать 
быстрее, если эти признаки вычисляются только по мере необходимости.
Динамическая структура вычислений – базовый принцип информатики, повсе-
местно применяемый в программной инженерии. Простейшие варианты динамиче-
ской структуры в контексте нейронных сетей основаны на определении того, какое 
подмножество некоторой группы нейронных сетей (или иных моделей машинного 
обучения) следует применить к конкретному входу.
Давно сложившаяся стратегия ускорения вывода – использовать 
каскад
класси-
фикаторов. Ее можно применить, когда стоит задача обнаружить присутствие ред-

---