JavaScript для глубокого обучения 2021 TensorFlow js Ббк



Download 30,75 Mb.
Pdf ko'rish
bet185/457
Sana27.03.2022
Hajmi30,75 Mb.
#513488
1   ...   181   182   183   184   185   186   187   188   ...   457
Bog'liq
Цэй Ш., Байлесчи С., и др. - JаvaScript для глубокого обучения (Библиотека программиста) - 2021


Глава 5. Перенос обучения: переиспользование предобученных нейронных сетей
217
Рис. 5.11.
Иллюстрируем заблокированные и разблокированные (то есть обучаемые) слои 
во время начального этапа переноса обучения (блок A) и этапа тонкой настройки (блок Б), 
(см. листинг 5.8). Обратите внимание, что плотный слой 3 следует непосредственно за плотным 
слоем 1 из-за усечения плотного слоя 2 (исходного выходного сигнала базовой модели), 
играющего роль первого шага переноса обучения (см. рис. 5.10)
Листинг 5.8.
Начальный этап переноса обучения с последующей тонкой настройкой
1

Мы удалили из листинга часть кода обработки ошибок, чтобы сосредоточиться на клю­
чевых частях алгоритма.


218
Часть II • Введение в TensorFlow.js


Глава 5. Перенос обучения: переиспользование предобученных нейронных сетей
219
Следует отметить несколько важных нюансов кода из листинга 5.8.
z
z
После каждого блокирования или разблокирования слоев (изменяя значение их 
атрибута 
trainable
) необходимо еще раз вызвать метод 
compile()
модели, чтобы 
изменения вступили в силу. Мы уже упоминали это при обсуждении примера 
transfer­learning для MNIST в подразделе 5.1.1.
z
z
Часть данных выделяется для проверки того, насколько хорошо полученные зна­
чения потерь и безошибочности отражают работу модели на данных, не виденных 
ею во время обратного распространения ошибки. Впрочем, мы выделяем часть 
собранных данных для проверки иначе, чем раньше, так что стоит остановиться 
на этом подробнее.
z
z
В примере сверточной сети MNIST (см. листинг 4.2) последние 15–20 % данных 
выделялись на проверку с помощью параметра 
validationSplit
метода 
Model.fit()

Здесь такой подход работает не слишком хорошо. Почему? А потому, что раз­
мер обучающего набора данных в таком случае намного меньше объемов данных 
в предыдущих примерах. В результате отделение вслепую нескольких последних 
примеров данных для проверки может привести к недостаточной представленно­
сти отдельных слов в проверочном подмножестве данных. Допустим, мы собрали 
по восемь примеров данных для каждого из четырех слов: 
feel

seal

veal
и 
zeal
— 
и взяли для проверки последние 25 % из 32 примеров данных (восемь примеров). 
В среднем на каждое слово в проверочном подмножестве приходится по два 
примера данных. Но из­за случайности выбора на какие­то слова в проверочном 
наборе придется лишь один пример данных, а на какие­то — вообще ни одного! 
Ясно, что не содержащий определенных слов проверочный набор данных плохо 
подходит для оценки безошибочности модели. Именно поэтому нам пришлось 
воспользоваться собственной функцией (
balancedTrainValSplit
в листинге 5.8), 
учитывающей истинные метки примеров данных и гарантирующей, что все слова 
будут представлены должным образом как в обучающем, так и в проверочном 
наборе. Рекомендуем вам поступать аналогичным образом для всех приложений 
с переносом обучения, в которых наборы данных столь же невелики.
Итак, что дает нам тонкая настройка? Какой дополнительный вклад она вносит 
после начального этапа переноса обучения? Для иллюстрации построим график 
кривых потерь и безошибочности с начального этапа и этапа тонкой настройки, 
объединив их в непрерывные кривые (рис. 5.12, блок A). Набор данных для пере­
носа обучения здесь состоит из тех же четырех слов, которые мы уже видели на 
рис. 5.9. Первые 100 эпох каждой кривой соответствуют начальному этапу, а по­
следние 300 — этапу тонкой настройки. Как видите, к концу 100 эпох начального 


220
Download 30,75 Mb.

Do'stlaringiz bilan baham:
1   ...   181   182   183   184   185   186   187   188   ...   457




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish