JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 1. Глубокое обучение и JavaScript
41
Аппаратное обеспечение
Глубокое обучение представляет собой прикладную науку, которая руководствуется 
скорее экспериментальными находками, а не теорией. Алгоритмы удалось усовер­
шенствовать лишь тогда, когда появилось подходящее аппаратное обеспечение для 
проверки новых идей (или для масштабирования старых, как это часто бывает). 
Типичным моделям глубокого обучения, применяемым для машинного зрения или 
распознавания речи, необходимы на порядки большие вычислительные ресурсы, 
чем у обычного ноутбука.
В 2000­х годах такие компании, как NVIDIA и AMD, вложили миллиарды дол­
ларов в создание быстрых массово­параллельных микросхем (GPU) для работы все 
более фотореалистичных компьютерных игр. Это привело к появлению дешевых, 
узкоспециализированных суперкомпьютеров, предназначенных для визуализации 
на экране 3D­сцен в режиме реального времени. Эти инвестиции пригодились на­
учному сообществу, когда в 2007 году компания NVIDIA создала универсальный 
интерфейс программирования линейки ее устройств — CUDA (сокращение от 
Compute Unified Device Architecture — архитектура унифицированного вычисли­
тельного устройства). Несколько GPU теперь могли заменить огромный кластер 
CPU в различных сильно распараллеливаемых задачах, начиная от моделирования 
физических процессов. Глубокие нейронные сети, включающие в основном большое 
количество матричных произведений и сложений, также относятся к сильно рас­
параллеливаемым средствам.
В 2011 году некоторые исследователи — одними из первых были Дэн Чирешан 
и Алекс Крижевски — начали писать реализации нейронных сетей на CUDA. Се­
годня вычислительная мощность высокопроизводительных GPU в параллельных 
вычислениях при обучении нейронных сетей в сотни раз больше, чем у обычного 
CPU. Без вычислительных возможностей современных GPU обучение многих пере­
довых глубоких нейронных сетей было бы невозможно.
Данные и тесты производительности
Если аппаратное обеспечение и алгоритмы — паровой двигатель революции глубо­
кого обучения, то данные — ее уголь: исходные материалы, служащие топливом для 
наших умных машин, без которых ничего не получилось бы. А что касается данных, 
то, помимо экспоненциального роста объемов аппаратного обеспечения для их хра­
нения за последние 20 лет (согласно закону Мура), положение дел в этой области ко­
ренным образом изменил Интернет. Именно благодаря ему стало возможно собирать 
и распределенно хранить очень большие наборы данных для машинного обучения. 
Сегодня крупные компании работают с наборами данных изображений, видеоданных 
и естественного языка, которые без Интернета вообще невозможно было бы собрать. 
Например, настоящим кладом данных для машинного зрения стали задаваемые 
пользователями метки на Flickr. Аналогично — видео на YouTube. А «Википедия» — 
важнейший набор данных для обработки естественного языка.
Если и был один набор данных, послуживший катализатором революции глубо­
кого обучения, то это, несомненно, ImageNet, состоящий из 1,4 миллиона изобра­
жений, разбитых на 1000 категорий. Набор данных ImageNet выделяет из прочих 

---

42