JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть II • Введение в TensorFlow.js
z
z
В отличие от бинарной пороговой функции, приведенной на рис. 3.7, угловые ко­
эффициенты этих кривых в каждой точке ненулевые, вследствие чего градиенты 
также ненулевые. Это подходит для обучения модели на основе метода обратного 
распространения ошибки.
Рис. 3.8.
Функция потерь бинарной перекрестной энтропии. Отдельно приведены графики 
двух случаев (truthLabel = 1 и truthLabel = 0), отражая оператор логического ветвления if-else 
в листинге 3.8
Вы можете задаться вопросом, почему не повторить то, что мы проделали для 
регрессионной модели: просто притвориться, что значения 0–1 — целевые перемен­
ные регрессии, и воспользоваться MSE в качестве функции потерь? В конце концов, 
MSE дифференцируема, а вычисление MSE между меткой истины и вероятностью 
даст ненулевые производные аналогично 
binaryCrossentropy
. Проблема в снижении 
«отдачи» MSE на границах. Например, в табл. 3.4 перечислены значения функции 
потерь 
binaryCrossentropy
и MSE для нескольких значений 
prop
при 
truthLabel
=
1
. 
По мере приближения 
prob
к 1 (желаемому значению) MSE снижается все медлен­
нее, по сравнению с 
binaryCrossentropy
. В результате она плохо «стимулирует» 
выдачу моделью более высоких (близких к 1) значений 
prob
, когда 
prob
уже и так 
довольно близка к 1 (например, равна 0,9). Аналогично, когда 
truthLabel
=
0
, MSE 
хуже подходит, чем 
binaryCrossentropy
, для генерации градиентов, подталкивающих 
выходной сигнал 
prob
модели в сторону нуля.
Это демонстрирует, что задачи бинарной классификации отличаются от задач ре­
грессии по крайней мере еще в одном аспекте: в первых потери (
binaryCrossentropy
) 
и метрики (безошибочность, точность и т. д.) различны, а во вторых обычно одина­
ковы (например, 
meanSquaredError
). Как мы увидим в следующем разделе, в задачах 
многоклассовой классификации функции потерь и метрики также отличаются.

---