JavaScript для глубокого обучения 2021 TensorFlow js Ббк



Download 30,75 Mb.
Pdf ko'rish
bet157/457
Sana27.03.2022
Hajmi30,75 Mb.
#513488
1   ...   153   154   155   156   157   158   159   160   ...   457
Bog'liq
Цэй Ш., Байлесчи С., и др. - JаvaScript для глубокого обучения (Библиотека программиста) - 2021


Часть II • Введение в TensorFlow.js
conv2d и maxPooling2d, используют в своей работе пространственные отношения 
в двумерных пространствах. Оказывается, звуки 
можно
представить в виде осо­
бых изображений, так называемых 
спектрограмм
(spectrogram). Спектрограммы 
не только позволяют обрабатывать звуки с помощью сверточных нейронных сетей, 
но и могут применяться вне сферы глубокого обучения.
Как демонстрирует рис. 4.12, спектрограмма — это двумерный массив чисел, 
который можно представить в виде изображения в оттенках серого, примерно так, 
как и изображения MNIST. Горизонтальное измерение — время, а вертикальное — 
частота. Вертикальные полосы спектрограммы отражают 
спектр
(spectrum) частот 
в пределах короткого временного окна. Спектр — это разбиение звукового сигнала 
на различные частотные компоненты, которые можно рассматривать как отдельные 
«тона». Подобно тому как свет можно разбить с помощью призмы на множество 
цветов, звук можно разбить на отдельные частоты с помощью математической опера­
ции, именуемой 
преобразованием Фурье
(Fourier transform). По сути, спектрограмма 
описывает изменения частотного содержимого звукового сигнала за несколько по­
следовательных, узких временных окон (обычно длиной порядка 20 миллисекунд).
На рис. 4.12 каждая из полос по временной оси (столбец изображения) пред­
ставляет собой краткий промежуток (кадр) времени; а каждый срез по оси частоты 
(строка изображения) соответствует конкретному узкому диапазону частот (тону). 
Значения пикселов изображения соответствуют относительной мощности звукового 
сигнала в данном диапазоне частот в конкретный момент времени. Спектрограммы 
здесь изображены так, что более темному оттенку серого соответствует б
ó
льшая 
мощность. Различные звуки речи обладают разными отличительными признаками. 
Например, свистящие звуки, такие как z и s, характеризуются квазистационарным 
состоянием мощности, сосредоточенной на частотах выше 2–3 кГц; гласные звуки, 
например e и o, характеризуются горизонтальными полосами (всплесками мощно­
сти) на нижнем конце спектра частот (< 3 кГц). Эти всплески мощности в акустике 
называются 
формантами
. У различных гласных разные частоты формант. Глубокая 
сверточная сеть может использовать все эти отличительные признаки различных 
звуков речи для распознавания слов.
Спектрограммы удобны в качестве представления звуковых сигналов по следу­
ющим причинам. Во­первых, они экономят место: количество чисел с плавающей 
точкой в спектрограмме обычно в несколько раз меньше, чем в исходной волновой 
форме. Во­вторых, в некотором смысле спектрограммы отражают работу слуха 
в биологии. Анатомическая структура во внутреннем ухе — улитка — по суще­
ству, выполняет биологическое «преобразование Фурье». Она раскладывает звуки 
на отдельные частоты, улавливаемые различными наборами слуховых нейронов. 
В­третьих, представление звуков речи в виде спектрограммы позволяет проще от­
личать типы звуков речи друг от друга. Это хорошо видно из примеров спектрограмм 
на рис. 4.12: у гласных и согласных совершенно разные отличительные признаки 
на спектрограммах. Десятки лет назад, еще до того, как машинное обучение стало 
широко применяться, специалисты по распознаванию речи пытались вручную 
сформировать правила, которые бы позволяли обнаруживать на спектрограммах 
различные гласные и согласные. Глубокое обучение дает возможность сэкономить 
силы и нервы, необходимые для подобной «ручной работы».


Download 30,75 Mb.

Do'stlaringiz bilan baham:
1   ...   153   154   155   156   157   158   159   160   ...   457




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©hozir.org 2024
ma'muriyatiga murojaat qiling

kiriting | ro'yxatdan o'tish
    Bosh sahifa
юртда тантана
Боғда битган
Бугун юртда
Эшитганлар жилманглар
Эшитмадим деманглар
битган бодомлар
Yangiariq tumani
qitish marakazi
Raqamli texnologiyalar
ilishida muhokamadan
tasdiqqa tavsiya
tavsiya etilgan
iqtisodiyot kafedrasi
steiermarkischen landesregierung
asarlaringizni yuboring
o'zingizning asarlaringizni
Iltimos faqat
faqat o'zingizning
steierm rkischen
landesregierung fachabteilung
rkischen landesregierung
hamshira loyihasi
loyihasi mavsum
faolyatining oqibatlari
asosiy adabiyotlar
fakulteti ahborot
ahborot havfsizligi
havfsizligi kafedrasi
fanidan bo’yicha
fakulteti iqtisodiyot
boshqaruv fakulteti
chiqarishda boshqaruv
ishlab chiqarishda
iqtisodiyot fakultet
multiservis tarmoqlari
fanidan asosiy
Uzbek fanidan
mavzulari potok
asosidagi multiservis
'aliyyil a'ziym
billahil 'aliyyil
illaa billahil
quvvata illaa
falah' deganida
Kompyuter savodxonligi
bo’yicha mustaqil
'alal falah'
Hayya 'alal
'alas soloh
Hayya 'alas
mavsum boyicha


yuklab olish