Я. Гудфеллоу, И. Бенджио, А. Курвилль

6.5.8. Осложнения
Наше описание алгоритма обратного распространения проще, чем в практических 
реализациях.

---

Обратное распространение и другие алгоритмы дифференцирования 

193
Как уже было сказано, при определении операции мы ограничились функциями, 
возвращающими один тензор. Большинство программных реализаций вынуждено 
поддерживать операции, возвращающие более одного тензора. Например, если мы 
хотим вычислить как максимальный элемент тензора, так и его индекс, то лучше это 
делать за один проход по памяти, поэтому ради эффективности процедуру следует 
реализовать как одну операцию с двумя выходами.
Мы не описали, как управлять потреблением памяти на этапе обратного распро-
странения. Алгоритм обратного распространения включает сложение многих тензо-
ров. При наивной реализации каждый тензор вычислялся бы по отдельности, а сум-
мирование производилось бы на втором шаге. Но при этом потребляется очень много 
памяти, чего можно избежать, если завести один буфер и прибавлять к нему каждое 
значение по мере вычисления.
В практических реализациях обратного распространения необходимо также об-
рабатывать разные типы данных: 32- или 64-разрядные с плавающей точкой, целые 
и т. д. Стратегию работы с каждым типом нужно тщательно спроектировать.
В некоторых операциях встречаются неопределенные градиенты, поэтому важно 
отслеживать такие случаи и устанавливать, определен запрошенный пользователем 
градиент или нет.
Есть и другие технические детали, осложняющие дифференцирование. Они не яв-
ляются непреодолимыми, в этой главе мы описали основные средства, необходимые 
для вычисления производных, но важно знать о существовании всяческих нюансов.
6.5.9. Дифференцирование за пределами сообщества 
глубокого обучения
Глубокое обучение оказалось в какой-то степени изолировано от более широкого 
сообщества специалистов по информатике и разрабатывало собственные традиции 
в отношении дифференцирования. В более общей области