7.7. Проблемы
и расширения нейронных сетей
213
и.хранения.таких.объемных.наборов.данных.располагают.крупные.корпорации.
и.правительства.
Наконец,.нейронные.сети.д
ó
роги.с.вычислительной.точки.зрения..Даже.про-
стое.обучение.на.наборе.данных.среднего.размера.может.вызвать.перегрузку.
компьютера..И.это.не.просто.наивные.реализации.нейронных.сетей..На.любой.
вычислительной.платформе,.где.применяются.нейронные.сети,.выполняется.
огромное.количество.вычислений.для.обучения.сети.—.ничто.другое.не.занимает.
так.много.времени..Существует.множество.приемов,.позволяющих.повысить.про-
изводительность.нейронной.сети,.например.применение.SIMD-инструкций.или.
графических.процессоров,.но.в.любом.случае.обучение.нейронной.сети.требует.
большого.количества.операций.с.плавающей.точкой.
Один.из.приятных.нюансов.—.то,.что.в.вычислительном.отношении.обучение.
обходится.намного.дороже,.чем.использование.сети..Некоторые.приложения.не.
требуют.постоянного.обучения..В.этих.случаях.обученную.сеть.можно.просто.
вставить.в.приложение.для.решения.задачи..Например,.первая.версия.платформы.
Apple.Core.ML.даже.не.поддерживает.обучение..Она.только.помогает.разработ-
чикам.приложений.запускать.предварительно.обученные.модели.нейронных.
сетей.в.своих.приложениях..Разработчик,.создающий.приложение.для.обработки.
фотографий,.может.загрузить.модель.классификации.изображений.с.открытой.
лицензией,.вставить.ее.в.Core.ML.и.сразу.же.начать.задействовать.эффективное.
машинное.обучение.в.своем.приложении.
В.этой.главе.мы.работали.с.нейронной.сетью.только.одного.типа.—.с.прямой.
связью.и.обратным.распространением..Как.уже.упоминалось,.существует.много.
других.видов.нейронных.сетей..Сверточные.нейронные.сети.также.имеют.прямую.
связь,.но.у.них.есть.несколько.типов.скрытых.слоев,.различные.механизмы.рас-
пределения.весов.и.другие.интересные.свойства,.из-за.чего.они.особенно.хорошо.
подходят.для.классификации.изображений..В.рекуррентных.нейронных.сетях.
сигналы.не.просто.движутся.в.одном.направлении.—.такие.сети.допускают.петли.
обратной.связи..Эти.сети.оказались.полезными.для.приложений.непрерывного.
ввода,.распознающих.написанное.от.руки.и.прочитанное.вслух.
Простым.расширением.нейронной.сети,.которое.могло.бы.сделать.ее.более.про-
изводительной,.было.бы.добавление.нейронов.смещения..
Нейроны смещения
.
подобны.фиктивным.нейронам.в.слое,.который.позволяет.предоставлять.вы-
ходным.данным.следующего.слоя.больше.функций,.обеспечивая.подачу.на.него.
постоянного.входного.сигнала.(все.еще.измененного.посредством.весов)..Даже.
простые.нейронные.сети,.используемые.для.реальных.задач,.обычно.содержат.
нейроны.смещения..Если.вы.добавите.такие.нейроны.в.созданную.здесь.сеть,.
то,.вероятно,.обнаружите,.что.для.достижения.аналогичного.уровня.точности.
потребуется.меньше.времени.на.обучение.