JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть IV • Резюме и заключительное слово
и сокращения требуемых для выполнения вывода вычислений. Хотя степень ускоре­
ния выполнения вывода различается в зависимости от типа модели и используемой 
прикладной части, обычно она составляет 20 % или более, а потому рекомендуем 
вам применять это преобразование к своим моделям TensorFlow.js перед их раз­
вертыванием.
ИНФОБОКС 12.3. Правильная оценка времени выполнения вывода
на основе моделей TensorFlow.js
Как объект 
tf.LayersModel
, так и 
tf.GraphModel
предоставляют единый метод 
predict()
для выполнения вывода, принимающий на входе один или несколько тензоров и воз­
вращающий один или несколько тензоров в качестве результата вывода. Однако важно 
отметить в контексте вывода на основе WebGL в браузере, что метод 
predict()
лишь 
планирует
операции на выполнение в GPU, а не ожидает завершения их выполнения. 
В результате, если «наивно» попытаться оценить длительность выполнения вызова 
predict()
следующим образом, результат окажется неправильным:
Возврат из метода 
predict()
не означает, что выполнение запланированных операций 
завершено. Следовательно, предыдущий пример приведет к заниженной оценке време­
ни, фактически затраченного на выполнение вывода. Чтобы убедиться, что операции 
завершены, необходимо, прежде чем вызывать 
console.timeEnd()
, выполнить один из 
следующих методов возвращаемого объекта тензора: 
array()
или 
data()
. Оба метода 
скачивают из GPU в CPU значения текстур, содержащих элементы выходного тен­
зора, для чего им необходимо дождаться завершения вычисления выходного тензора. 
Итак, правильный способ оценки времени вывода выглядит следующим образом:
Следует учесть еще один важный нюанс: как и в случае всех прочих JavaScript­
программ, время выполнения вывода на основе модели TensorFlow.js — величина 
непостоянная. Для получения надежной оценки выполнения вывода необходимо по­
местить код из предыдущего фрагмента в цикл 
for
и произвести измерения несколько 
раз (например, 50), после чего вычислить среднее значение накопленных отдельных 
измерений. Первые несколько раз выполнение происходит медленнее, чем далее, из­за 
необходимости компиляции новых шейдеров WebGL и задания начальных значений. 
Поэтому в коде для оценки быстродействия обычно пропускается несколько (напри­
мер, пять) первых проходов, называемых 
прогревочными
(burn­in, warm­up).
Чтобы лучше разобраться в подобных методиках измерения быстродействия, выпол­
ните упражнение 3 в конце данной главы.

---