JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 12. Тестирование, оптимизация и развертывание моделей
495
ботчикам не требуется писать никакого кода, поскольку браузер производит разархи­
вирование незаметно при скачивании файлов модели. Однако это не меняет объема 
вычислений, требуемых для вызовов, производящих вывод на основе модели. Не ме­
няет оно и объем потребляемой CPU или GPU памяти при подобных вызовах. Дело 
в том, что весовые коэффициенты квантуются после загрузки (см. уравнение (12.2) 
в инфобоксе 12.1). Что же касается выполняемых операций и типов данных и форм 
выходных тензоров этих операций, то никакой разницы между квантованной и не­
квантованной моделью нет. Однако не менее важно для развертывания модели, 
чтобы она работала как можно быстрее и потребляла как можно меньше памяти ради 
улучшения впечатлений пользователей от ее использования и снижения потребле­
ния электроэнергии. Можно ли добиться ускорения работы существующей модели 
TensorFlow.js при развертывании, без снижения безошибочности предсказаний 
вдобавок к оптимизации размера модели? К счастью, можно. В следующем разделе 
мы сосредоточим свое внимание на существующих в TensorFlow.js методиках опти­
мизации скорости выполнения вывода.
Таблица 12.2.
Коэффициенты сжатия артефактов модели с помощью gzip при различном уровне 
квантования
Набор данных и модель Коэффициент сжатия с помощью gzip
1
32-битная точность 
(без квантования)
16-битное 
квантование
8-битное 
квантование
Цены на калифорнийскую 
недвижимость: 
MLP­регрессор
1,121
1,161
1,388
MNIST: сверточная сеть
1,082
1,037
1,184
Fashion­MNIST: 
сверточная сеть
1,078
1,048
1,229
Подмножество ImageNet 
из 1000 изображений
1,085
1,063
1,271
12.2.2. Оптимизация скорости выполнения вывода 
с помощью преобразования GraphModel
Этот раздел организован следующим образом. Сначала мы опишем этапы оптимиза­
ции скорости выполнения вывода модели TensorFlow.js с помощью преобразования 
GraphModel
. А затем перечислим подробно показатели быстродействия, количе­
ственно выражающие прирост скорости благодаря этому подходу. И наконец, мы 
расскажем, что происходит «под капотом» преобразования 
GraphModel
.
1 
Общий размер model.json и файла весовых коэффициентов/размер сжатого файла 
в формате gzip.

---

496