Я. Гудфеллоу, И. Бенджио, А. Курвилль

GPU общего назначения
(GP-GPU), 
которые могут исполнять произвольный код, а не только подпрограммы отрисовки. 
Похожий на C язык программирования CUDA, разработанный компанией NVIDIA, 
дал средства для написания произвольного кода. Благодаря сравнительно удобной 
модели программирования, массовому параллелизму и высокой пропускной способ-
ности памяти GP-GPU стали идеальной платформой для программирования нейрон-
ных сетей. Эта платформа была с восторгом принята специалистами по глубокому 
обучения сразу после появления (Raina et al., 2009; Ciresan et al., 2010).
Написание эффективного кода для GP-GPU остается трудной задачей, которую 
лучше оставить специалистам. Приемы достижения высокой производительности 
на GPU сильно отличаются от того, к чему мы привыкли на CPU. Например, хоро-
шая программа для CPU обычно проектируется так, чтобы по возможности читать 
данные из кэша. На GPU большая часть допускающей запись памяти не кэширует-
ся, поэтому быстрее вычислить одно и то же значение дважды, чем вычислить одно-
кратно, а потом прочитать из памяти. Код для GPU принципиально многопоточный, 
и потоки необходимо тщательно синхронизировать. Например, операции с памятью 
выполняются быстрее, если их можно 
объединить
. Объединенная операция чтения 
или записи имеет место, когда несколько потоков могут одновременно прочитать или 
записать нужные им значения в составе одной транзакции доступа к памяти. Разные 
модели GPU умеют объединять разные последовательности операций чтения и запи-
си. Обычно операции с памятью проще объединить, если 
i
-й из 
n
потоков обращается 
к (
i
+ 
j
)-му байту памяти и 
j
кратно степени двойки. Точные спецификации зависят от 
модели GPU. Еще один важный аспект программы для GPU – следить за тем, чтобы 
все потоки в группе выполняли одну и ту же команду одновременно. Это означает, 
что реализовать ветвление на GPU трудно. Потоки разбиваются на небольшие груп-
пы, называемые 
канатами
(warp). Каждый поток каната в каждом цикле выполняет 
одну и ту же команду, поэтому если два потока из одного каната должны пройти по 
разным путям в коде, то проходить их придется последовательно, а не параллельно.
В связи с трудностями написания высокопроизводительного кода для GPU работу 
следует построить так, чтобы избежать разработки нового GPU-кода для тестирова-
ния новых моделей или алгоритмов. Обычно для этого создают библиотеку функций 

---