|
В этой главе
z
Чем последовательные данные отличаются от непоследовательных.
z
Какие методики глубокого обучения подходят для задач с последовательными
данными.
z
Представления текста в глубоком обучении, включая унитарное кодирование,
федеративное кодирование и вложения слов.
z
Что такое RNN и почему они хорошо подходят для задач с последовательными
данными.
z
Что такое одномерная свертка и почему это удачная альтернатива RNN.
z
Уникальные особенности задач преобразования последовательностей в последо-
вательности и использование для их реализации механизма внимания.
В этой главе мы сосредоточимся на задачах, в которых участвуют последовательные
данные. Главное в таких данных — упорядоченность элементов. Как вы, наверное,
догадались, мы уже имели дело с последовательными данными. А именно, по
следовательными являются данные Jenaweather, с которыми вы познакомились
в главе 7. Их можно представить в виде массива массивов чисел. Упорядоченность,
безусловно, важна для внешнего массива, поскольку измерения поступают в опреде
ленные моменты времени. Если поменять порядок элементов во внешнем массиве на
9
Глубокое обучение
для последовательностей
и текста
340
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
противоположный, например тенденцию к росту атмосферного давления превратить
в тенденцию к убыванию, прогноз погоды получится совершенно иным. Последо
вательные данные встречаются повсеместно: курсы акций, электрокардиограммы
(ЭКГ), строки символов в коде программного обеспечения, последовательные кадры
видео и последовательности действий робота. Сравните эти примеры с непоследо
вательными данными наподобие набора данных irisflowers из главы 3: изменение
порядка четырех числовых признаков (длина и ширина чашелистиков и лепестков)
в них ни на что не повлияет
1
.
В первой части главы мы познакомим вас с упоминавшимся в главе 1 заме
чательным типом моделей — RNN, рекуррентными нейронными сетями, специ
ально предназначенными для усвоения паттернов из последовательных данных.
Мы научимся интуитивно понимать, благодаря каким особым признакам RNN
оказываются чувствительны к упорядоченности элементов и содержащейся в ней
информации.
Во второй части главы займемся, вероятно, чаще всего встречающимся (осо
бенно в Интернете!) частным случаем последовательных данных — текстом. На
чнем с представления текста в глубоком обучении и применения RNN к подобным
представлениям, а затем перейдем к одномерным сверточным сетям и поговорим
об их широких возможностях по обработке текста и о том, почему их имеет смысл
использовать вместо RNN для определенных типов задач.
В последней части главы мы пойдем еще дальше и изучим связанные с после
довательностями задачи, несколько более сложные, чем представление числа или
класса. В частности, отважимся на обсуждение задач преобразования последова
тельностей в последовательности — предсказания выходной последовательности
по входной. И проиллюстрируем на примере решение простейшей задачи преобра
зования последовательностей в последовательности с помощью новой архитектуры
модели —
механизма внимания
(attention mechanism), которая играет все более
и более важную роль в сфере обработки текстов на естественном языке с помощью
глубокого обучения.
К концу данной главы вы изучите основные типы последовательных данных
в глубоком обучении, их представления в виде тензоров и научитесь пользоваться
TensorFlow.js для создания простых RNN, одномерных сверточных сетей и сетей
внимания для решения задач машинного обучения, связанных с последовательными
данными.
Слои и модели из этой главы — одни из самых сложных в книге. Это цена, кото
рую приходится платить за их повышенные разрешающие возможности в задачах
обучения с последовательными данными. Вероятно, вам непросто будет с первого
раза разобраться в некоторых из них, хотя мы и приложили максимум усилий, что
бы описать их как можно более интуитивно понятным образом, с помощью схем
и псевдокода. В случае затруднений попробуйте поэкспериментировать с примерами
кода и выполнить упражнения, размещенные в конце главы. По нашему опыту, на
практике сложные концепции и архитектуры, подобные встречающимся в этой главе,
усваиваются намного проще.
1
Убедитесь в этом, решив упражнение 1 в конце главы.
Do'stlaringiz bilan baham: |
