Neyron tarmoq asoslari va uni chuqur o'rganish

Выходной слой для регрессии. Проектное решение зависит от того, какой от-вет мы хотим получить от модели. Если мы хотим получить одно вещественное число, то воспользуемся линейной функции активации.


Выходной слой для бинарной классификации. В этом случае мы возьмем сигмоидный выходной слой с одним нейроном, который дает вещественное значение в диапазоне от 0.0 до 1.0 (не включая граничных значений). Это число обычно интерпретируется как распределение вероятности одного класса.
Выходной слой для многоклассовой классификации. Если имеется задача многоклассового моделирования, но нас интересует только наилучшая оценка, то мы возьмем выходной softmax-слой с функцией argmax(), которая дает оценку для наиболее вероятного класса. Выходной softmax-слой дает распределение вероят-ности всех классов.


Получение нескольких классификаций

Если требуется получить несколько классификаций одного выхода (например, человек + автомобиль), то softmax в выходном слое не подойдет. Вместо этого следует взять сигмо-идный выходной слой с n нейронами, что даст независимое распределение вероятности каждого класса.

Функции потерь

1. 
   главе 2 мы обсуждали функции потерь и их роль в машинном обучении. Функция потерь количественно выражает отклонение предсказанного выхода от фактиче-ского. С помощью функции потерь мы определяем штраф за неправильную клас-сификацию входного вектора. До сих пор нам встречались такие функции потерь:
   

 квадратичная потеря;  логистическая потеря;  кусочно-линейная потеря;


 отрицательное логарифмическое правдоподобие.
Выше мы отнесли функции потерь к одной из трех категорий:  регрессия;  классификация;  реконструкция.
Первые две категории были рассмотрены в главе 1. Третья же, реконструкция, связана с автоматическим выделением признаков, благодаря чему сети глубокого обучения достигли побившей все рекорды верности. В некоторых архитектурах глубоких сетей функции потерь из категории реконструкции помогают сети более эффективно выделять признаки, особенно если используются в паре с подходя-щей функцией активации. Примером может служить классификация с многоклас-совой перекрестной энтропией в качестве функции потерь в сочетании с функ-цией активации softmax. Специализированную функцию потерь мы рассмотрим

0. 
   следующем разделе.
   

96  Основания глубоких сетей