JavaScript для глубокого обучения 2021 TensorFlow js Ббк

ИНФОБОКС 1.2. Ускорение вычислений с помощью GPU и WebGL
Обучение моделей ML и последующий вывод возможны лишь при колоссальном 
количестве математических операций. Например, широко используемые «плотные» 
слои нейронных сетей требуют умножения большой матрицы на вектор и сложения 
результата с другим вектором. Типичная операция подобного плана означает тысячи 
или миллионы операций с плавающей точкой. Но у подобных операций зачастую есть 
важное свойство — они допускают 
распараллеливание
. Например, сложение двух век­
торов можно разбить на множество меньших операций — сложений отдельных чисел. 
Причем эти меньшие операции не зависят друг от друга. Например, не нужно знать 
сумму двух элементов на нулевых позициях двух векторов, чтобы вычислить сумму 

---

Глава 1. Глубокое обучение и JavaScript
47
двух элементов на первых позициях. В результате можно выполнять эти меньшие 
операции одновременно, а не последовательно, вне зависимости от размера векторов. 
Последовательные вычисления, например CPU­нативная реализация сложения век­
торов, известны под названием SISD (Single Instruction Single Data — «один поток 
команд — один поток данных»). Параллельные вычисления на GPU известны под 
названием SIMD (Single Instruction Multiple Data — «один поток команд — несколько 
потоков данных»). Сложение отдельной пары чисел обычно занимает у CPU меньше 
времени, чем у GPU. Но общие затраты на вычисление такого большого количества 
операций намного меньше для SIMD GPU, чем для SISD CPU. Количество параметров 
глубоких нейронных сетей может достигать миллионов. Вычисления для конкретных 
входных данных могут включать миллиарды поэлементных математических операций 
(если не больше). Массово­параллельная обработка с помощью GPU в таких масшта­
бах демонстрирует поистине потрясающие результаты.
Ускорение векторных операций на GPU по сравнению с CPU благодаря 
использованию WebGL возможностей параллельных вычислений на GPU
Если точнее, современные CPU тоже до какой­то степени способны выполнять ин­
струкции SIMD. Впрочем, количество процессоров в GPU намного больше, чем в CPU 
(в сотни или тысячи раз), и они способны на выполнение инструкций на множестве 
срезов входных данных одновременно. Векторное сложение — относительно простая 
задача SIMD в том смысле, что на каждом шаге вычислений анализируется только 
одна позиция векторов, а результаты сложений на разных позициях не зависят друг 
от друга. Другие задачи SIMD, встречающиеся в машинном обучении, более сложны. 

---

48