JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть II • Введение в TensorFlow.js
например 128 или 256. Примеры данных собираются в батчи, чтобы полнее ис­
пользовать возможности параллельных вычислений GPU и обеспечить устой­
чивость вычисляемых значений градиентов.
2. Получаем предсказания 
y_pred
, применяя сеть к батчу 
x
(этот шаг носит название 
прямого прохода
(forward pass)).
3. Вычисляем функцию потерь сети на данном батче — меру расхождения между 
y_pred
и 
y_true
.
4. Обновляем все веса (параметры) сети таким образом, чтобы слегка уменьшить 
потери на этом батче. Конкретные изменения отдельных весов производит оп­
тимизатор — еще одна опция вызова 
model.compile()
.
Рис. 
2.6.
Блок-схема, иллюстрирующая цикл обучения с обновлением модели 
путем градиентного спуска
Если уменьшать потери на каждом шаге, в конце концов мы получим сеть с низ­
ким значением функции потерь на обучающих данных. Сеть научилась отображать 
входные сигналы в правильные целевые значения. Со стороны это может показаться 
каким­то волшебством, но все становится очень простым, если разбить на элемен­
тарные шаги.
Единственная хитрость заключается в шаге 4: как определить, какие веса увели­
чить, какие уменьшить и насколько? Можно просто высказывать догадки и прове­
рять их, принимая только те обновления, которые действительно уменьшают потери. 
Такой алгоритм может подойти для простой задачи, как вышеупомянутая, но будет 
работать очень медленно. Для более серьезных задач, при оптимизации миллионов 
весов, вероятность случайного выбора хорошего направления ничтожно мала. Луч­
ше будет воспользоваться фактом 
дифференцируемости
всех используемых в сети 
операций и вычислить 
градиент
функции потерь относительно параметров сети.
Что такое градиент? Не будем давать формальное определение (с использова­
нием теории математического анализа), а опишем его на интуитивном уровне: 
«На-
правление, при крошечном изменении всех весов в котором функция потерь растет 
быстрее всего среди всех направлений».

---