JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 3. Вводим нелинейность: теперь не только взвешенные суммы
121
Вычислить итоговые потери на проверочном наборе validationLoss
if validationLoss < minValidationLoss
minValidationLoss := validationLoss
bestUnits := units
bestLearningRate := learningRate
return [bestUnits, bestLearningRate]
Как выбрать диапазоны этих гиперпараметров? Это еще один вопрос, на который 
теория глубокого обучения не дает однозначного ответа. Обычно эти диапазоны 
выбираются на основе опыта и интуиции конкретного специалиста по глубокому 
обучению. Кроме того, дополнительные ограничения на них могут накладывать вы­
числительные ресурсы. Например, модель, включающая плотный слой со слишком 
большим количеством нейронов, может слишком медленно обучаться или работать 
в фазе вывода.
Зачастую количество оптимизируемых гиперпараметров настолько велико, что 
просмотреть все экспоненциально растущее число их сочетаний с вычислительной 
точки зрения нереально. В подобных случаях понадобятся более изощренные, по 
сравнению с сеточным поиском, методы, например, случайный поиск
1
и байесов­
ские
2
методы.
3.2. Нелинейность на выходе модели: модели 
для классификации
Мы привели в качестве примеров две задачи регрессии, в которых предсказывали 
числовое значение (например, время скачивания или среднюю стоимость дома). 
Однако есть и другая часто встречающаяся задача машинного обучения: класси­
фикация. Часть задач классификации относится к 
бинарной классификации
(binary 
classification), при которой целевой величиной является ответ «да/нет». Мир тех­
нологий полон подобных задач. Приведем пару примеров.
z
z
Является ли данное письмо спамом?
z
z
Является ли данная транзакция с кредитной картой допустимой? Или мошен­
нической?
z
z
Содержит ли заданный аудиофрагмент длительностью секунду конкретное 
слово?
z
z
Совпадают ли два отпечатка пальца (сняты ли они с одного пальца одного че­
ловека)?
1 
Bergstra J., Bengio Y.
Random Search for Hyper­Parameter Optimization // Journal of Machine 
Learning Research. Vol. 13, 2012. Pp. 281–305. http://mng.bz/WOg1.
2 
Koehrsen W.
A Conceptual Explanation of Bayesian Hyperparameter Optimization for Machine 
Learning // Towards Data Science. 24 June 2018. http://mng.bz/8zQw.

---

122