JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
6.3.2. Доступ к видеоданным 
с помощью метода tf.data.webcam()
Один из самых интересных вариантов использования проектов TensorFlow.js — обу­
чение и применение моделей машинного обучения к датчикам мобильных устройств. 
Выявление движения с помощью встроенного акселерометра мобильного телефона? 
Понимание звуков или речи с помощью встроенного микрофона? Зрительная по­
мощь с использованием встроенной камеры? Столько замечательных идей, и это 
лишь начало списка.
В главе 5 мы работали с веб­камерой и микрофоном в контексте переноса обу­
чения. Мы воспользовались камерой для управления Пакманом и микрофоном для 
тонкой настройки системы распознавания речи. И хотя далеко не для всех типов 
входных данных существует удобный вызов API, для работы с веб­камерой в 
tf.data
простой и удобный API все же есть. Взглянем, что он из себя представляет и как с его 
помощью выполнять предсказания на основе обученных моделей.
С помощью API 
tf.data
можно легко создать итератор для объекта 
Dataset
, вы­
дающий поэлементно поток изображений с веб­камеры. В листинге 6.14 приведен 
простой пример из документации. Первое, что в нем бросается в глаза: вызов метода 
tf.data.webcam()
. Этот конструктор принимает в качестве аргумента необязатель­
ный HTML­элемент и возвращает итератор для веб­камеры. Конструктор работает 
только в среде браузера. Если обратиться к этому API в среде Node.js или если веб­
камера недоступна, конструктор сгенерирует исключение, указывающее на источник 
ошибки. Более того, перед открытием веб­камеры браузер запрашивает у пользо­
вателя разрешение. Если в разрешении отказано, конструктор также сгенерирует 
исключение. Добросовестный разработчик должен подготовить для этих случаев 
понятные пользователю сообщения.
Листинг 6.14.
Создание объекта Dataset с помощью tf.data.webcam() и HTML-элемента
При создании итератора для веб­камеры важно, чтобы он знал форму генери­
руемых тензоров. Существует два способа добиться этого. В первом случае, по­
казанном в листинге 6.14, ее задает форма указанного HTML­элемента. Если же 
необходима другая форма или видео вообще не нужно отображать, можно указать 
желаемую форму через объект конфигурации, как показано в листинге 6.15. Уч­

---