Я. Гудфеллоу, И. Бенджио, А. Курвилль

 

Транскрипция.
В задачах такого типа системе машинного обучения предлага-
ется проанализировать неструктурированное представление некоторых дан-
ных и преобразовать его в дискретную текстовую форму. Например, программе 
распознавания текста предъявляется фотография текста, а она должна вернуть 
текст в виде последовательности символов (скажем, в кодировке ASCII или 
Unicode). В системе Google Street View глубокое обучение используется для 
подобной обработки табличек с адресами домов (Goodfellow et al., 2014d). Дру-
гой пример – распознавание речи, когда программе предъявляется аудиосиг-
нал, а она выводит последовательность символов или идентификаторов про-
изнесенных слов. Глубокое обучение – важнейший компонент современных 
систем распознавания речи, используемых в таких компаниях, как Microsoft, 
IBM и Google (Hinton et al., 2012b).
 

Машинный перевод.
В этой задаче входные данные – последовательность 
символов на одном языке, а программа должна преобразовать ее в последо-
вательность символов на другом языке. Обычно такие системы применяются 
к естественным языкам, скажем, для перевода с английского на французский. 
В последнее время глубокое обучение стало проникать и в эту область (Suts ke-
ver et al., 2014; Bahdanau et al., 2015).

---

Алгоритмы обучения 

99
 

Структурный вывод.
Под структурным выводом понимается любая задача, 
в которой на выходе порождается вектор (или иная структура, содержащая 
несколько значений), между элементами которого существуют важные связи. 
Это широкая категория, в которую входят, в частности, задачи транскрипции 
и перевода. Еще одна задача – грамматический разбор, т. е. преобразование 
предложения на естественном языке в дерево, описывающее его грамматиче-
скую структуру; узлы такого дерева снабжены метками «глагол», «существи-
тельное», «наречие» и т. д. Пример применения глубокого обучения к задаче 
грамматического разбора имеется в работе Collobert (2011). Можно также 
рассмотреть пиксельную сегментацию изображения, когда программа долж-
на отнести каждый пиксель к определенной категории. Например, глубокое 
обуче ние можно использовать для аннотирования дорог на аэрофотоснимках 
(Mnih and Hinton, 2010). Формат выхода не всегда так точно повторяет формат 
ввода, как в задачах, сводящихся к аннотированию. Например, в задаче подпи-
сывания изображений программе предъявляется изображение, а она выводит 
его описание в виде предложения на естественном языке (Kiros et al., 2014a,b; 
Mao et al., 2015; Vinyals et al., 2015b; Donahue et al., 2014; Karpathy and Li, 2015; 
Fang et al., 2015; Xu et al., 2015). Название «структурный вывод» отражает тот 
факт, что программа должна вывести несколько тесно связанных между собой 
значений. Так, слова, порождаемые программой подписывания изображений, 
должны образовывать допустимое предложение.