JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 12. Тестирование, оптимизация и развертывание моделей
499
matMul
и смещения (
b
), а также поэлементная функция активации ReLU (рис. 12.3, 
блок A). Слияние операций состоит в замене этих трех отдельных операций одной, 
производящей все эквивалентные им шаги (см. рис. 12.3, блок Б). Подобная замена 
может показаться тривиальной, однако приводит к ускорению вычислений, благо­
даря: 1) уменьшению накладных расходов на выполнение операций (да, выполне­
ние операции всегда требует определенного количества накладных расходов, вне 
зависимости от используемой прикладной части) и 2) расширению возможностей 
использования различных приемов оптимизации скорости внутри реализации самой 
объединенной операции.
Рис. 12.3.
Схематическая иллюстрация внутренних операций плотного слоя, со слиянием 
операций (блок A) и без него (блок Б) 
Чем слияние операций отличается от вышеупомянутого схлопывания констант 
и арифметических упрощений? Слияние операций требует описания специальной 
объединенной операции (
Fused matMul+relu
в данном случае) и ее доступности 
для осуществляющей вычисления прикладной части, в то время как схлопывание 
констант — нет. Эти специальные объединенные операции доступны только в не­
которых прикладных частях и средах развертывания. Именно поэтому выполнение 
вывода ускоряется намного сильнее в среде Node.js, чем в браузере (см. табл. 12.3). 
Вычислительная прикладная часть Node.js, использующая написанную на C++ 
и CUDA библиотеку libtensorflow, включает намного больший набор операций, чем 
прикладная часть WebGL TensorFlow.js в браузере.
Помимо схлопывания констант, арифметических упрощений и слияния опера­
ций, система Grappler оптимизации графов TensorFlow (Python) умеет производить 
еще несколько видов оптимизаций, часть из которых уместно упомянуть в свете того, 
как оптимизируются модели TensorFlow.js с помощью преобразования 
GraphModel
. 
Однако объем нашей книги ограничен, так что мы не будем описывать их тут. Если 
вам интересно узнать больше по этому вопросу, рекомендуем взглянуть на позна­
вательные презентации Расмуса Ларсена и Татьяны Шпейзман, указанные в конце 
главы.
Подытоживаем: преобразование 
GraphModel
— возможность, предоставляемая 
командой 
tensorflowjs_converter
, которая использует возможности упрежда ющей 
оптимизации графов TensorFlow (Python) для упрощения графов вычислений 

---

500