JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 3. Вводим нелинейность: теперь не только взвешенные суммы
143
Листинг 3.10.
Псевдокод функции потерь на основе категориальной перекрестной энтропии
function categoricalCrossentropy(oneHotTruth, probs):
for i in (0 to length of oneHotTruth)
if oneHotTruth(i) is equal to 1
return -log(probs[i]);
В псевдокоде из предыдущего листинга 
oneHotTruth
— унитарное представление 
фактического класса входного примера, а 
probs
— вероятности на выходе многомер­
ной логистической функции модели. Основной вывод из этого псевдокода — с точки 
зрения категориальной перекрестной энтропии важен лишь один элемент 
probs
, 
а именно тот, индексы которого соответствуют фактическому классу. Остальные 
элементы 
probs
могут быть какими угодно, но если они не изменяют значение 
элемента для фактического класса, то на категориальную перекрестную энтропию 
не влияют. Что же касается этого конкретного элемента 
probs
, то чем ближе он 
к 1, тем меньше будет значение перекрестной энтропии. Как и для бинарной пере­
крестной энтропии, для категориальной существует функция в пространстве имен 
tf.metrics
, с помощью которой вы можете вычислить категориальную перекрест­
ную энтропию простых, но наглядных примеров. Например, с помощью следующего 
кода можно создать гипотетическую унитарно закодированную истинную метку 
и гипотетический вектор 
probs
, а также вычислить соответствующее значение ка­
тегориальной перекрестной энтропии:
const oneHotTruth = tf.tensor1d([0, 1, 0]);
const probs = tf.tensor1d([0.2, 0.5, 0.3]);
tf.metrics.categoricalCrossentropy(oneHotTruth, probs).print();
Результат будет равен примерно 0,693. Это значит: если вероятность, присво­
енная моделью фактическому классу, равна 0,5, значение 
categoricalCrossentropy
равно 0,693. Можете проверить это с помощью псевдокода из листинга 3.10. Попро­
буйте также увеличить или уменьшить значение с 0,5 и посмотреть, как поменяется 
categoricalCrossentropy
(см. примеры в табл. 3.5). В табл. 3.5 есть также столбец 
для MSE между унитарной истинной меткой и вектором 
probs
.
Таблица 3.5.
Значения категориальной перекрестной энтропии при различных вероятностях 
на выходе модели. В основе всех примеров (строк), без потери общности, лежит сценарий 
с тремя классами (как в случае набора данных «Ирисы Фишера»), причем фактический класс 
примеров — второй из них