JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Рис. 13.4.
Локальное обобщение в моделях глубокого обучения и радикальное обобщение 
человеческого интеллекта
1 
Исследователи пробовали обучать одну глубокую нейронную сеть на множестве различ­
ных и, казалось бы, не связанных между собой задач ради совместного использования 
знаний из различных областей (см., например: 
Kaiser L. et al.
One Model To Learn Them All 
// submitted 16 Jun. 2017. https://arxiv.org/abs/1706.05137). Но подобные многоцелевые 
модели пока широкого распространения не получили.

---

Глава 13. Резюме, заключительные слова и дальнейшие источники информации
539
13.3. Современные тенденции 
глубокого обучения
Как мы уже говорили, прогресс глубокого обучения за последние годы был поис­
тине впечатляющим, но некоторые ограничения все еще ему присущи. Но эта сфера 
знаний не стоит на месте, а эволюционирует с поразительной быстротой, так что 
вполне возможно, что в ближайшем будущем некоторые из этих ограничений будут 
устранены. В этом разделе приведен набор обоснованных прогнозов возможных 
технических прорывов в глубоком обучении на ближайшие годы.
z
z
Прежде всего можно ожидать серьезного прогресса в обучении без учителя 
и обучении с учителем, что, в свою очередь, самым кардинальным образом 
повлияет на все формы глубокого обучения, ведь, в то время как найти или 
создать маркированный набор данных непросто, немаркированных наборов 
данных во всех предметных областях полным­полно. Способ направлять об­
учение на большом массиве немаркированных данных с помощью небольшого 
объема маркированных открыл бы дорогу к множеству новых приложений 
глубокого обучения.
z
z
Во­вторых, подходящее для глубокого обучения аппаратное обеспечение также 
будет развиваться и будут появляться все более и более мощные средства уско­
рения для нейронных сетей (например, будущие поколения тензорных процес­
соров, TPU
1
), что позволит исследователям обучать обладающие все большими 
возможностями нейронные сети на еще больших наборах данных, тем самым 
увеличивая степень безошибочности во многих задачах машинного обучения, 
в частности в компьютерном зрении, распознавании речи, обработке естественного 
языка и генеративных моделях.
z
z
Проектирование архитектуры моделей и подбор гиперпараметров моделей, ве­
роятно, будут все более и более автоматизироваться. Мы уже видим четкие тен­
денции в этом направлении, что демонстрируют такие технологии, как AutoML
2
и Google Vizier
3
.
z
z
Совместное использование и переиспользование компонентов нейронных сетей 
также будет расширяться. Равно как и масштабы переноса обучения на основе 
предобученных моделей. Современные модели глубокого обучения с каждым 
днем становятся все более мощными и универсальными. Их обучают на все 
больших и больших наборах данных, иногда с колоссальным расходом вычисли­
тельных ресурсов ради автоматизации проектирования архитектуры и подбора 
1 
Jouppi N. P. et al.
In­Datacenter Performance Analysis of a Tensor Processing Unit™, 2017. 
https://arxiv.org/pdf/1704.04760.pdf.
2 
Zoph B., Le Q. V.
Neural Architecture Search with Reinforcement Learning // submitted 5 Nov. 
2016. https://arxiv.org/abs/1611.01578.
3 
Golovin D.
Google Vizier: A Service for Black­Box Optimization // Proc. 23rd ACM SIGKDD 
International Conference on Knowledge Discovery and Data Mining, 2017. Pp. 1487–1495. 
http://mng.bz/O9yE.

---

540