JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
задачи и генерации текста произвольной длины можно использовать LSTM. Сто­
хастичностью (степенью случайности и непредсказуемости) сгенерированного 
текста можно управлять с помощью параметра температуры.
z
z
Автокодировщик — тип генеративной модели, состоящий из кодировщика 
и декодировщика. Сначала кодировщик уплотняет входные данные в сжатое 
представление — латентный вектор (z­вектор). Затем декодировщик пытается 
восстановить исходные данные по одному латентному вектору. В процессе об­
учения кодировщик становится высокоэффективным средством сжатия данных, 
а декодировщик наделяется знанием статистического распределения примеров 
данных. VAE накладывает дополнительные статистические ограничения на 
латентные векторы так, что содержащие эти векторы латентные пространства 
после обучения VAE демонстрируют непрерывно меняющиеся и удобные для 
интерпретации структуры.
z
z
В основе GAN лежит идея «единства и борьбы» дискриминатора и генератора. 
Дискриминатор пытается отличить настоящие примеры данных от сгенерирован­
ных, а генератор стремится сгенерировать поддельные примеры, способные «об­
мануть» дискриминатор. В ходе их совместного обучения генератор постепенно 
становится способен генерировать правдоподобные примеры данных. ACGAN 
добавляет в базовую архитектуру GAN информацию о классах, позволяя задавать 
желаемый класс примеров данных для генерации.

---

В этой главе
z

Отличия обучения с подкреплением от обсуждавшегося в предыдущих главах об-
учения с учителем.
z

Основная парадигма обучения с подкреплением: агент, среда, действие и возна-
граждение, а также их взаимодействия.
z

Основные идеи двух главных подходов к решению задач обучения с подкреплени-
ем: на основе стратегий и на основе ценности.
До сих пор в книге мы сосредотачивали свое внимание в основном на так называ­
емом 
обучении с учителем
(supervised learning). При таком обучении модель обуча­
ется правильно реагировать на входной сигнал. Присваивает ли она метку класса 
входному изображению (см. главу 4) или предсказывает температуру в будущем по 
прошлым метеорологическим данным (см. главы 8 и 9), парадигма остается неизмен­
ной: статическим входным данным ставятся в соответствие статические выходные 
данные. Модели генерации последовательностей, обсуждавшиеся в главах 9 и 10, 
были чуть сложнее, поскольку выходной сигнал в них представлял собой последо­
вательность элементов, а не отдельный элемент. Но соответствующие задачи все 
равно можно свести к варианту «один элемент на входе — один элемент на выходе», 
разбив последовательности на шаги.
В этой главе мы рассмотрим совершенно иную разновидность машинного об­
учения — 
обучение с подкреплением
(reinforcement learning, RL). В нем главное 
11
Основы глубокого обучения 
с подкреплением

---

428