Часть IV • Резюме и заключительное слово
дополнительные данные или нанять людей для маркирования вручную немар
кированного набора данных.
4.
Найти надежную меру успешности работы обученной модели относительно
цели
. В простых задачах такой мерой может служить степень безошибочность
предсказаний, но во многих случаях потребуются более сложные предметно
ориентированные метрики.
5.
Подготовка процесса оценки
. Необходимо спроектировать процесс оценки качества
работы модели. В частности, необходимо разбить данные на три однородных, но
непересекающихся множества: обучающий, проверочный и контрольный наборы
данных. Важно, чтобы метки проверочного и контрольного наборов данных не по
пали в обучающие данные. Например, в случае временн
ы
х прогнозов проверочные
и контрольные данные должны браться из промежутков времени, следующих за
обучающими данными. Код предварительной обработки данных должен полностью
охватываться тестами для защиты от подобных ошибок (см. раздел 12.1).
6.
Векторизация данных
. Данные необходимо преобразовать в тензоры (
n
мерные
массивы) — лингва франка моделей машинного обучения в таких фреймворках,
как TensorFlow.js и TensorFlow. Чтобы приспособить тензоризованные данные
для конкретных моделей, нередко приходится подвергать их предварительной
обработке, например нормализации.
7.
Разработать модель, работающую лучше, чем эталонный подход, основанный про-
сто на здравом смысле
. Разработать модель, работающую лучше, чем эталонная
версия, не основанная на машинном обучении (наподобие предсказания средних
по населению показателей для задачи регрессии или наподобие задачи предсказа
ния последней точки данных в ряде данных), продемонстрировав таким образом,
что машинное обучение действительно может принести вам пользу. Что не всегда
так (см. пункт 1).
8.
Разработать модель с достаточными разрешающими возможностями, причем
чрезмерно подогнанную к обучающим данным
. Необходимо постепенно масшта
бировать вверх архитектуру своей модели, подбирая гиперпараметры и вводя
регуляризацию. Учтите: вносить изменения на основе степени безошибочности
следует только в проверочный набор данных, необучающий и не контрольный.
Помните, ваша цель — получить в итоге модель, чрезмерно подогнанную к обу
чающему набору данных (степень безошибочности на обучающем наборе данных
чуть лучше, чем на проверочном), а значит, найти грань между недостаточными
и чрезмерными разрешающими возможностями модели. Лишь после этого сле
дует использовать регуляризацию и прочие методики сокращения переобучения.
9.
Подбор гиперпараметров
. При подборе гиперпараметров необходимо отслеживать
переобучение на проверочном наборе данных. Поскольку гиперпараметры под
бираются исходя из работы модели на проверочном наборе, их значения будут
слишком хорошо подходить именно для него, а потому плохо обобщаться на
прочие данные. Получение несмещенной оценки безошибочности модели после
подбора гиперпараметров — задача контрольного набора данных. Поэтому при
подборе гиперпараметров использовать контрольный набор данных нельзя.
Do'stlaringiz bilan baham: |