JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 6. Работа с данными
267
Листинг 6.17.
Использование API tf.data.webcam() в цикле предсказания
Листинг 6.18.
Создание набора видеоданных из tf.data.webcam()
6.3.3. Доступ к аудиоданным 
с помощью API tf.data.microphone()
Помимо данных изображений, модуль 
tf.data
включает специальный API для сбора 
аудиоданных с аппаратного микрофона. Подобно API веб­камеры, API микрофона 
создает отложенный итератор, позволяющий вызывающей его программе по мере 

---

268
Часть III • Продвинутые возможности глубокого обучения с TensorFlow.js
необходимости запрашивать кадры, аккуратно упакованные в тензоры, которые 
подходят для непосредственного использования моделью. Типичный сценарий — 
сбор аудиокадров для последующего выполнения предсказаний. И хотя технически 
сгенерировать поток обучающих данных с помощью этого API можно, объединить 
его с метками — непростая задача.
Листинг 6.19 демонстрирует пример сбора аудиоданных длительностью одна 
секунда с помощью API 
tf.data.microphone()
. Учтите, что при выполнении этого 
кода браузер попросит у пользователя разрешить доступ к микрофону.
Листинг 6.19.
Сбор аудиоданных длительностью одна секунда с помощью API tf.data.microphone()
У микрофона есть несколько настраиваемых параметров, позволяющих пользова­
телям контролировать применение к аудиоданным быстрого преобразования Фурье 
(fast Fourier transform, FFT). Например, чтобы в спектрограмме присутствовало 
больше или меньше кадров частотного представления аудиоданных либо только 
определенный диапазон аудиоспектра, скажем лишь частоты, необходимые для 
слышимой речи. Поля из листинга 6.19 означают следующее.
z
z
sampleRateHz:
44100
• Частота дискретизации волнового сигнала микрофона. Должна быть равна 
44 100 или 48 000 и совпадать с частотой самого устройства, в противном 
случае будет сгенерирована ошибка.
z
z
fftSize:
1024
• Этот параметр определяет количество элементов выборки, на основе которого 
вычисляется каждый неперекрывающийся «кадр» аудио. Каждый из кадров 
проходит FFT, и чем больше кадр, тем выше его частотная чувствительность 
и ниже разрешающая способность по времени, поскольку временн
á
я инфор­
мация 
внутри кадра
теряется.
• Обязан быть равен числу в степени 2, от 16 до 8192 включительно. В данном 
случае 
1024
означает вычисление мощности сигнала в полосе частот по вы­
борке примерно из 1024 элементов.

---