JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 12. Тестирование, оптимизация и развертывание моделей
487
объемом памяти. Нейронные сети, отличающиеся все б
ó
льшим и б
ó
льшим размером, 
в этом смысле доставляют проблемы при развертывании модели. Высокие разре­
шающие возможности глубоких нейронных сетей (то есть их способности к пред­
сказанию) часто означают и большее количество слоев и их размеры. На момент 
написания книги размер весовых коэффициентов передовых моделей распознава­
ния изображений
1
, распознавания речи
2
, обработки текстов на естественном языке
3
и генеративных моделей
4
зачастую превышает 1 Гбайт. Вследствие непрерывного 
поиска баланса между величиной и возможностями моделей, оптимизация размера 
моделей (как спроектировать нейронную сеть как можно меньшего размера, способ­
ную тем не менее на выполнение поставленных задач со степенью безошибочности, 
близкой к большей нейронной сети) остается очень активной сферой исследований 
в глубоком обучении. Существует два основных подхода к оптимизации размера 
моделей. При первом подходе нейронная сеть изначально проектируется исходя 
из минимизации размера модели. При втором применяются методики сокращения 
размера уже существующих нейронных сетей.
MobileNetV2, которую мы обсуждали в посвященных сверточным сетям гла­
вах, — результат первого подхода
5
. Она представляет собой маленькую, облегченную 
модель для изображений, подходящую для развертывания в средах с ограниченны­
ми ресурсами, например в браузерах и мобильных устройствах. Степень безошибоч­
ности MobileNetV2 несколько ниже, чем у больших моделей, обученных на тех же 
задачах, например ResNet50. Однако размер ее (14 Мбайт) в несколько раз меньше 
(ResNet50 занимает около 100 Мбайт), так что небольшое снижение безошибоч­
ности оправдывает себя.
Несмотря на заложенное при проектировании снижение размера, MobileNetV2 
все равно слишком велика для большинства JavaScript­приложений. Стоит только 
упомянуть, что ее размер (14 Мбайт) в восемь раз превышает размер средней веб­
страницы
6
. В MobileNetV2 есть параметр 
width
, при значении меньше 1 снижающий 
размер всех сверточных слоев, тем самым еще более сокращающий общий размер 
1 
He K. et al.
Deep Residual Learning for Image Recognition // submitted 10 Dec. 2015. https://
arxiv.org/abs/1512.03385.
2 
Schalkwyk J.
An All­Neural On­Device Speech Recognizer // Google AI Blog, 12 Mar. 2019. 
http://mng.bz/ad67.
3 
Devlin J. et al.
BERT: Pre­training of Deep Bidirectional Transformers for Language Under­
standing // submitted 11 Oct. 2018. https://arxiv.org/abs/1810.04805.
4 
Karras T., Laine S., Aila T.
A Style­Based Generator Architecture for Generative Adversarial 
Networks // submitted 12 Dec. 2018. https://arxiv.org/abs/1812.04948.
5 
Sandler M. et al.
MobileNetV2: Inverted Residuals and Linear Bottlenecks // IEEE Conference 
on Computer Vision and Pattern Recognition (CVPR), 2018. Pp. 4510–4520. http://mng.bz/
NeP7.
6 
Согласно данным HTTP Archive, средний размер веб­страницы (общий передаваемый 
размер HTML, CSS, JavaScript, изображений и прочих статических файлов) составляет 
примерно 1828 КБ для традиционных приложений и 1682 КБ для мобильных приложений 
по состоянию на май 2019 года: https://httparchive.org/reports/page­weight.

---

488