Я. Гудфеллоу, И. Бенджио, А. Курвилль

5.11.2. Регуляризация для достижения локального постоянства 
и гладкости
Чтобы алгоритм хорошо обобщался, необходимо иметь априорное представление 
о том, какого рода функцию он должен обучить. Мы видели, что эти априорные пред-
положения выражаются явно в виде распределения вероятности параметров моде-
ли. Неформально мы можем также полагать, что априорные знания непосредственно 
влияют на саму функцию и лишь опосредованно на параметры, считая это резуль-
татом связи между параметрами и функцией. Кроме того, неформально априорные 
предположения неявно выражаются в виде выбора алгоритма, смещенного в поль-
зу определенного класса функций, хотя такое смещение, возможно, и не выражено 
(а иногда его попросту невозможно выразить) в терминах распределения вероятно-
сти, описывающего степень уверенности в выборе той или иной функции.

---

Проблемы, требующие глубокого обучения 

143
Из самых распространенных неявных «априорных предположений» отметим 
априорное предположение о гладкости
, или 
априорное предположение о локаль-
ном постоянстве
. То и другое означает, что обучаемая функция не должна сильно 
изменяться в небольшой области.
Обобщаемость многих простых алгоритмов опирается исключительно на это апри-
орное предположение, и потому они плохо масштабируются в условиях статистиче-
ских проблем, присущих задачам ИИ. Ниже в этой книге мы увидим, что глубокое 
обучение вводит дополнительные (явные и неявные) априорные предположения, 
чтобы уменьшить ошибку обобщения на сложных задачах. А сейчас объясним, по-
чему одного предположения о гладкости недостаточно.
Существует много способов явно или неявно выразить априорное предположение 
о том, что обучаемая функция должна быть гладкой или локально постоянной. Все 
они направлены на то, чтобы заставить процесс обучения находить функцию 
f 
*
, удов-
летворяющую условию
f 
*
(