Я. Гудфеллоу, И. Бенджио, А. Курвилль

11.3. Надо ли собирать дополнительные данные?
Построив начальный вариант комплексной системы, можно приступать к измерению 
качества алгоритма и поиску способов его улучшения. Часто начинающие испытыва-
ют соблазн что-то улучшить, пробуя много разных алгоритмов. Но обычно гораздо 
разумнее собрать больше данных, чем пытаться улучшить алгоритм обучения.
Как решить, следует ли собирать дополнительные данные? Прежде всего опре-
делите, устраивает ли вас качество на обучающем наборе. Если качество плохое, то 
алгоритм обучения не использует должным образом даже тех данных, что уже есть, 
так что собирать новые бессмысленно. Попробуйте вместо этого увеличить размер 
модели, добавив слои или скрытые блоки в каждый слой. Попробуйте также поиграть 
с алгоритмом обучения, например настройте гиперпараметр скорости обучения. Если 
модель большая и алгоритмы оптимизации тщательно настроены, а результата все 
равно нет, то, возможно, проблема в качестве обучающих данных. Быть может, они 
слишком сильно зашумлены или не содержат входов, необходимых для правильного 
предсказания выходов. Тогда стоит начать все сначала, собрав более чистые данные 
или используя улучшенный набор признаков.
Если качество на обучающем наборе приемлемое, то измерьте качество на тестовом 
наборе. Если и оно приемлемое, то все уже сделано. Если же качество на тестовом 
наборе гораздо хуже, чем на обучающем, то сбор дополнительных данных – одно из 
самых эффективных решений. Главное, что нужно принять во внимание, – стоимость 
и саму возможность сбора дополнительных данных, стоимость и возможность умень-
шить ошибку тестирования другими способами, а также ожидаемый объем данных, 
при котором можно будет значительно повысить качество на тестовом наборе. Боль-
шие интернет-компании с миллионами и миллиардами пользователей могут собрать 
большие наборы данных, и стоимость этого мероприятия может оказаться намного 
ниже альтернатив, поэтому ответ почти всегда – увеличить объем обучающих дан-
ных. Например, разработка больших размеченных наборов данных была одним из 
главных факторов успеха при решении задачи о распознавании объектов. В других 
контекстах, например в медицинских приложениях, сбор дополнительных данных 

---