Computer Science на языке Java 2022 Дэвид Копец Классические задачи Computer Science на языке Java 2022 ббк

ПРИМЕЧАНИЕ
Поскольку.большинство.нейронных.сетей.нуждается.в.обучении,.их.относят.к.типу.
контролируемого.машинного.обучения..Напомню:.как.было.показано.в.главе.6,.ал-
горитм.
k
-средних. и. другие. кластерные. алгоритмы. считаются. формой. неконтроли-
руемого.машинного.обучения,.поскольку.после.их.запуска.внешнее.вмешательство.
не.требуется..Существуют.и.другие.типы.нейронных.сетей,.отличные.от.описанных.
в.этой.главе,.которые.не.требуют.предварительной.подготовки.и.считаются.формой.
неконтролируемого.обучения.
Первый.шаг.при.обратном.распространении.—.вычисление.ошибки.между.вы-
ходным.сигналом.нейронной.сети.для.некоторого.входного.сигнала.и.ожидаемым.
выходным.сигналом..Эта.ошибка.распространяется.на.все.нейроны.в.выходном.
слое..(Для.каждого.нейрона.есть.ожидаемый.и.фактический.выходной.сигнал.).
Затем.к.тому,.что.было.бы.выходным.сигналом.нейрона.до.того,.как.была.задей-
ствована.его.функция.активации,.применяется.производная.функции.активации.
выходного.нейрона..(Мы.кэшируем.результат.его.функции.перед.активацией.).
Этот.результат.умножают.на.ошибку.нейрона,.чтобы.найти.его.
дельту
..Формула.
вычисления.дельты.использует.частную.производную.(нахождение.этой.произво-
дной.выходит.за.рамки.данной.книги)..Главное,.что.мы.получаем.в.результате,.—.
то,.за.какое.количество.ошибок.отвечает.каждый.выходной.нейрон..Диаграмма.
вычисления.показана.на.рис..7.4.

---

188
Глава 7.
Простейшие нейронные сети
Рис. 7.4.
Механизм, с помощью которого вычисляется дельта выходного нейрона
на этапе обучения посредством обратного распространения
Затем.необходимо.вычислить.дельты.для.всех.нейронов.скрытого.слоя.(сло-
ев).данной.сети..Нужно.определить,.насколько.каждый.нейрон.ответствен.за.
неправильный.выходной.сигнал.в.выходном.слое..Дельты.выходного.слоя.ис-
пользуются.для.вычисления.дельт.в.предыдущем.скрытом.слое..Для.каждого.
предыдущего.слоя.дельты.вычисляются.определением.скалярного.произведения.
весов.следующего.слоя.по.отношению.к.конкретному.рассматриваемому.нейрону.
и.уже.вычисленных.дельт.в.следующем.слое..Чтобы.получить.дельту.нейрона,.
это.значение.умножается.на.производную.от.функции.активации,.применяемой.
к.последнему.выходному.сигналу.нейрона,.кэшированному.перед.задействованием.
функции.активации..Эта.формула.также.получена.с.помощью.частной.производ-
ной,.подробнее.о.которой.вы.можете.прочитать.в.более.специализированных.
математических.текстах.
На.рис..7.5.показан.фактический.расчет.дельт.для.нейронов.в.скрытых.слоях..
В.сети.с.несколькими.скрытыми.слоями.нейроны.O1,.O2.и.O3.могут.быть.ней-
ронами.следующего.скрытого.слоя,.а.не.нейронами.выходного.слоя.
И.последнее,.но.самое.главное:.все.веса.для.каждого.нейрона.в.сети.должны.быть.
обновлены.путем.умножения.последнего.входного.значения.каждого.отдельного.
веса.на.дельту.нейрона.и.нечто,.называемое.
скоростью
.
обучения
,.и.прибавления.
этого.значения.к.существующему.весу..Этот.метод.изменения.веса.нейрона.
называется.
градиентным
.
спуском
..Он.похож.на.спуск.с.холма,.где.холм.—.это.

---

7.2. Искусственные нейронные сети