JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 12. Тестирование, оптимизация и развертывание моделей
493
данных Fashion­MNIST и посмотреть, как 16­ и 8­битное квантование влияют на 
степень ее безошибочности на контрольном наборе данных:
yarn train-fashion-mnist
yarn quantize-and-evaluate-fashion-mnist
Результаты, приведенные в третьей строке табл. 12.1, указывают на небольшое 
снижение безошибочности на контрольном наборе данных (с 92,2 до 92,1 %) при 
8­битном квантовании весов, в то время как 16­битное квантование по­прежнему 
никаких видимых изменений не вызывает.
Еще более сложная задача классификации изображений — задача классификации 
ImageNet с 1000 выходных классов. В этом случае мы скачиваем предобученную 
MobileNetV2 вместо обучения ее с нуля, как в трех прочих сценариях в этом приме­
ре. Предобученная модель оценивается на выборке из 1000 изображений из набора 
данных ImageNet в квантованном и неквантованном виде. Мы решили не оценивать 
на всем наборе данных ImageNet, поскольку он огромного размера (миллионы изо­
бражений), а выводы при этом особо бы не отличались.
Для оценки степени безошибочности модели в задаче ImageNet более исчерпы­
вающим образом мы вычислили степень безошибочности как для первого, так и для 
первых пяти максимальных логитов. Первая представляет собой долю правильных 
предсказаний при учете лишь одного максимального выходного логита модели, 
а во втором случае предсказание считается правильным, если любой из пяти макси­
мальных логитов включает правильную метку. Это стандартный подход при оценке 
степеней безошибочности модели для ImageNet, поскольку — вследствие большого 
числа меток классов, некоторые из которых очень близки друг к другу, — модели 
часто содержат правильную метку не в максимальном, а в одном из пяти максималь­
ных логитов. Чтобы увидеть эксперимент с MobileNetV2 + ImageNet в действии, 
используйте команду:
yarn quantize-and-evaluate-MobileNetV2
В отличие от предыдущих трех сценариев этот эксперимент демонстрирует суще­
ственное влияние 8­битного квантования на безошибочность модели на контрольном 
наборе (см. четвертую строку табл. 12.1). Степень безошибочности как для первого, 
так и для первых пяти логитов при 8­битном квантовании MobileNet существенно 
ниже исходной модели, так что 8­битное квантование для оптимизации размера 
MobileNet не подходит. Однако безошибочность при 16­битном квантовании сравни­
ма с неквантованной моделью
1
. Как видим, влияние квантования на безошибочность 
зависит от модели и данных. Для некоторых моделей и задач (например, сверточной 
сети MNIST) ни 16­битное, ни 8­битное квантование не приводит к существенному 
снижению безошибочности на контрольном наборе данных. В подобных случаях 
имеет смысл использовать при развертывании 8­битную модель и наслаждаться 
сокращением времени скачивания. Для некоторых моделей, например нашей свер­
точной сети Fashion­MNIST или регрессионной модели для цен на недвижимость, 
1 
На самом деле в таблице можно наблюдать даже небольшое повышение степеней без­
ошибочности, вследствие случайных колебаний на относительно небольшом контрольном 
наборе данных, состоящем лишь из 1000 примеров данных.

---

494