Лекция №11. Методы и программы синтеза речи План: Модели синтеза речи

2. Синтез речи с помощью нейронной сети

Для исследования формантно-голосовой модели синтеза речи был создан инструмент Модель синтеза, в котором ручным заданием параметров можно синтезировать практически любой гласный или шипящий звук. Также приводятся уже готовые образцы некоторых звуков (в форме параметров модели).

Алгоритм синтеза речи
Процесс синтеза речи выглядит следующим образом.
Уровни выходов нейронов эффекторного слоя нейросети при помощи карты эффекторов (рис.2) преобразуются в значения выбранных параметров модели синтеза. Карта эффекторов определяет соответствие между каждым нейроном эффекторного слоя и конкретным параметром модели синтеза, а также предельные значения каждого параметра. Число эффекторов и число параметров модели может не совпадать. Если параметру не соответствует ни один эффектор, используется некоторое фиксированное значение (значение по умолчанию).



Рис. 2. Блок-схема уровня ввода/вывода

Далее по текущему состоянию модели синтезируется сигнал в пространстве частот: генерируется линейка частот, представляющих голосовой источник. На эту линейку частот накладывается формантная структура (резонансы). Для синтеза шума используется генератор случайной амплитуды и фазы.

На последнем этапе выполняется обратное преобразование Фурье для получения звуков речи.
При обучении системы формировались нейронные ансамбли для каждого звука из обучающей последовательности а, б, в, г, д. Затем проводилось обучение синтезу. В результате в эффекторном слое установились правильные связи с символьным слоем.
Система успешно обучилась синтезу — синтезируемые звуки в точности соответствуют тонам из обучающей выборки. На рис. 3 показана обучающая выборка, а на рис. 4 — результат синтеза.



Рис. 3. Обучающая выборка



Рис. 4. Результат синтеза

На рис. 5 показан результат обучения синтезу звуков а,и,о,у.

Рис. 5. Результат обучения синтезу

Как видите, спектрограммы синтезированных звуков близки к спектрограммам оригинальных звуков, хотя видны и отличия.