|
покры-
тие
, т. е. доля примеров, для которых система смогла дать ответ. Необходимо соблю-
дать баланс между покрытием и верностью. Всегда можно получить стопроцентную
верность, вообще отказавшись от обработки примеров, но тогда покрытие упадет до
0. В проекте Street View ставилась задача добиться верности транскрипции, не усту-
пающей человеку, при 95-процентном покрытии. Считалось, что человек правильно
транскрибирует адрес в 98% случаев.
Существует много других метрик. Например, можно измерять кликабельность,
проводить опрос удовлетворенности пользователей и т. д. В специализированных
приложениях применяются также специальные критерии.
358
Практическая методология
Важно заранее определить, какой показатель качества мы будем улучшать, а затем
сконцентрироваться на этой цели. Не имея четко сформулированных целей, трудно
сказать, принесло некое изменение системы успех или нет.
11.2. Выбор базовой модели по умолчанию
После выбора целей и показателей качества следующим шагом разработки любого
практического приложения является организация разумной комплексной системы,
причем делать это надо как можно раньше. В этом разделе мы порекомендуем, с ка-
ких алгоритмов начинать в различных ситуациях. Помните, что прогресс в области
глубокого обучения стремительный, поэтому вполне вероятно, что вскоре после вы-
хода этой книги из печати наилучшими по умолчанию будут считаться другие алго-
ритмы.
В зависимости от сложности задачи вы, возможно, захотите на начальной стадии
вообще обойтись без глубокого обучения. Если есть шанс, что задачу удастся решить,
просто правильно подобрав несколько линейных весов, то лучше начать с простой
статистической модели типа логистической регрессии.
Если заведомо понятно, что задача относится к «ИИ в чистом виде», как, например,
распознавание объектов, распознавание речи, машинный перевод и т. д., то для начала
стоит выбрать подходящую модель глубокого обучения.
Прежде всего выберите общую категорию моделей, исходя из структуры своих
данных. Если вам нужно провести обучение с учителем с векторами фиксированного
размера на входе, возьмите сеть прямого распространения с полносвязными слоями.
Если известна топологическая структура входа (например, входом является изобра-
жение), то воспользуйтесь сверточной сетью. В этих случаях начинать следует с ка-
кого-нибудь кусочно-линейного блока (ReLU или его обобщения: Leaky ReLU, PreLu
или maxout). Если входом или выходом является последовательность, то пользуйтесь
вентильной рекуррентной сетью (LSTM или GRU).
В качестве алгоритма оптимизации стоит взять СГС с импульсом и затухающей
скоростью обучения (к числу популярных схем затухания, которые на одних задачах
работают лучше, на других хуже, относятся: линейное затухание до достижения фик-
сированной минимальной скорости обучения, экспоненциальное затухание и умень-
шение скорости обучения в 2–10 раз при каждом выходе ошибки на контрольном
наборе на плато). Еще одна разумная альтернатива – Adam. Пакетная нормировка
может оказать заметное влияние на качество оптимизации, особенно в случае свер-
точных сетей и сетей с сигмоидными нелинейностями. Хотя на первой итерации име-
ет смысл опустить пакетную нормировку, к ней следует вернуться сразу, как только
в ходе оптимизации появятся признаки проблем.
Если обучающий набор не насчитывает десятков миллионов примеров, следует
с самого начала включить какие-то мягкие формы регуляризации. Ранняя останов-
ка – почти универсальная рекомендация. Прореживание – отличный способ регуля-
ризации, легко реализуемый и совместимый со многими моделями и алгоритмами
обучения. Пакетная нормировка также иногда уменьшает ошибку обобщения и по-
зволяет отказаться от прореживания благодаря шуму в оценке статистик, вносимому
для нормировки каждой переменной.
Если ваша задача похожа на какую-то другую, уже хорошо изученную, то вы по-
ступите мудро, если для начала скопируете модель и алгоритм, которые показали
Надо ли собирать дополнительные данные?
359
наилучшие результаты раньше. Возможно, стоит даже скопировать уже обученную
модель. Например, при решении разных задач компьютерного зрения нередко ис-
пользуются признаки из сверточной сети, обученной на наборе данных ImageNet
(Girshick et al., 2015).
Часто задают вопрос, стоит ли начинать с обучения без учителя, описанного далее
в части III. Все зависит от предметной области. Известно, что в некоторых задачах,
скажем в обработке естественного языка, методы обучения без учителя, например по-
гружение слов, приносят колоссальный эффект. А, к примеру, в компьютерном зре-
нии современные методы обучения без учителя не дают особого выигрыша, за исклю-
чением обучения с частичным привлечением учителя, когда помеченных примеров
очень мало (Kingma et al., 2014; Rasmus et al., 2015). Если ваше приложение относится
к классу задач, для которых польза обучения без учителя доказана, включайте такую
модель уже в первую версию комплексной системы. В противном случае поступай-
те так, только если решаемая задача принципиально не подразумевает учителя. Вы
всегда сможете добавить обучение без учителя позже, если заметите, что начальная
базовая модель переобучена.
Do'stlaringiz bilan baham: |
