Я. Гудфеллоу, И. Бенджио, А. Курвилль

сглаживание меток
регуляризирует модель, основанную на функции softmax с 
k
выходными значениями, путем замены жестко заданных идентификаторов классов 
0 и 1 метками 
ε
/(
k
–1) и 1 – 
ε
соответственно. Затем к этим мягким меткам можно 
применить стандартную функцию потерь на базе перекрестной энтропии. Обучение 
методом максимального правдоподобия с softmax-классификатором и жесткими мет-
ками может никогда не сойтись – softmax не умеет предсказывать вероятность, в точ-
ности равную 0 или 1, поэтому будет бесконечно продолжать обучать все большие 
и большие веса, делая все более экстремальные предсказания. Такого развития собы-
тий можно избежать, применив другие стратегии регуляризации, например снижение 
весов. У сглаживания меток есть то преимущество, что оно предотвращает стремле-
ние к жестким вероятностям, не ставя под угрозу правильность классификации. Эта 
стратегия используется начиная с 1980-х годов и до сих пор занимает видное место 
в современных нейронных сетях (Szegedy et al., 2015).
7.6. Обучение с частичным привлечением учителя
В случае обучения с частичным привлечением учителя для оценивания 
P
(
y
| 
x
) или 
предсказания 
y
по 
x
используются как непомеченные примеры из 
P
(
x
), так и поме-
ченные из 
P
(
x
, 
y
).
В контексте глубокого обучения под обучением с частичным привлечением учи-
теля обычно понимают обучение представления 
h
= 
f
(
x
). Цель – сделать так, что-
бы примеры из одного класса имели похожие представления. Обучение без учителя 
может дать полезную информацию о том, как сгруппировать примеры в простран-
стве представлений. Примеры, попадающие в один кластер в пространстве входов, 
должны отображаться в сходные представления. Линейный классификатор в новом 
пространстве во многих случаях может достичь более высокого качества (Belkin and 
Niyogi, 2002; Chapelle et al., 2003). Проверенный временем вариант этого подхода – 
применить метод главных компонент в качестве шага предварительной обработки до 
применения классификатора (к спроецированным данным).

---