Я. Гудфеллоу, И. Бенджио, А. Курвилль

x
) = 
σ
(
z
) эк-
вивалентно определению 
P
(
y
= 1 | 
x
) = softmax(
z
)
1
в случае двумерного 
z
и 
z
1
= 0. Оба 
подхода к softmax – с 
n
– 1 и с 
n
аргументами – описывают одно и то же множество 
распределений вероятности, но обладают разной динамикой обучения. На практике 
редко возникает существенное различие между перепараметризованным и ограни-
ченным вариантом, а перепараметризованный реализовать проще.
С точки зрения нейробиологии, интересна интерпретация softmax как способа 
создания некоторой формы конкуренции между блоками, которые в ней участвуют: 
выходы softmax в сумме всегда дают 1, поэтому увеличение значения одного блока не-
минуемо влечет уменьшение значений других. Это аналог латерального торможения, 
которое, как полагают, существует между близкими нейронами коры головного мозга. 
В крайней своей форме (когда разность между максимальным 
a
i
и всеми остальными 
велика по абсолютной величине) складывается ситуация, когда 
победитель получает 
все
(один выход почти равен 1, остальные почти равны 0).
Название «softmax» вносит некоторую путаницу. Эта функция ближе к arg max, 
чем к max. Часть «soft» связана с тем, что функция softmax непрерывная и дифферен-
цируемая. Функция же arg max, результат которой представлен унитарным вектором, 
не является ни непрерывной, ни дифференцируемой. Следовательно, softmax – это 
«сглаженный» вариант arg max. Соответствующий сглаженный вариант функции 

---

166 

 
Глубокие сети прямого распространения 
max – softmax(