JavaScript для глубокого обучения 2021 TensorFlow js Ббк

Глава 4. Распознавание изображений и звуковых сигналов
181
Рис. 4.12.
Примеры спектрограмм произнесенных по отдельности слов zero и yes. Спектрограмма 
представляет собой совместное частотно-временное представление звукового сигнала. Ее можно 
рассматривать как представление звука в виде изображения
Давайте теперь на минуту остановимся и задумаемся. Глядя на изображения 
MNIST на рис. 4.1 и спектрограммы речи на рис. 4.12, вы не могли не обратить вни­
мания на сходство этих двух наборов данных. Оба содержат паттерны в двумерном 
пространстве признаков, заметные тренированному глазу. Точное местоположение, 
размер и прочие нюансы признаков в обоих наборах данных отличаются некоторой 
степенью случайности. Количество возможных классов для MNIST равно 10, а для 
набора данных речевых команд — 20 (десять цифр от 0 до 9, 
up
, 
down
, 
left
, 
right
, 
go
, 
stop
, 
yes
и 
no
, а также категории «неизвестных» слов и фонового шума). Именно 
благодаря этим принципиальным сходствам между наборами данных сверточные 
сети подходят для задачи распознавания речи.
Но есть между этими двумя наборами данных и существенные различия. 
Во­первых, аудиозаписи в наборе данных речевых команд несколько зашумлены, 
как вы можете видеть по пятнышкам темных пикселов, не имеющих отношения 
к звукам речи в примере на рис. 4.12. Во­вторых, все спектрограммы в наборе данных 
речевых команд имеют размер 43 
×
232, что значительно превышает размеры отдель­
ных изображений MNIST, составлявшие 28 
×
28. Размер спектрограммы асимметри­
чен по измерениям времени и частоты. Эти отличия найдут свое отражение в свер­
точной сети, которую мы будем использовать для нашего звукового набора данных.
Код для описания и обучения сверточной сети распознавания голосовых команд 
находится в репозитории tfjs­models. Для получения этого кода можно использовать 
следующие команды:
git clone https://github.com/tensorflow/tfjs-models.git
cd speech-commands/training/browser-fft

---

182