Нейронную

чечное произведение или внутреннее произведение. В математике 
возможны и другие типы умножения матриц, такие как перекрест­
ное произведение, но мы будем работать с точечным произведением 
матриц.
Но почему мы должны углубляться в дебри этого ужасного мат­
ричного умножения и отвратительной алгебры? На то есть серьезная 
причина... Крепитесь!
Посмотрим, что произойдет, если заменить буквы словами, име­
ющими более непосредственное отношение к нашей нейронной сети. 
На приведенной ниже иллюстрации вторая матрица имеет размер­
ность 2x1, но матричная алгебра остается прежней.
Иначе как магией это никак не назовешь!
Первая матрица содержит весовые коэффициенты для связей 
между узлами двух слоев, вторая — сигналы первого, входного 
слоя. Результатом умножения этих двух матриц является объеди­
ненный сглаженный сигнал, поступающий на узлы второго слоя. 
Присмотритесь повнимательнее, и вы это поймете. На первый узел 
поступает сумма двух сигналов — сигнала in p u t_ l, умноженного
Какая все-таки отличная вещь — умножение матриц! 
73

---

на весовой коэффициент wx х, и сигнала input_2, умноженного на ве­
совой коэффициент w2 х. Это значения х до применения к ним функ­
ции активации.
Представим все это в более наглядной форме с помощью иллю­
страции.
Описанный подход чрезвычайно полезен.
Почему? Потому что в его рамках все вычисления, которые необ­
ходимы для расчета входных сигналов, поступающих на каждый из 
узлов второго слоя, могут быть выражены с использованием матрич­
ного умножения, обеспечивающего чрезвычайно компактную форму 
записи соответствующих операций:
X = W 
I
74 
Глава 1. Как работают нейронные сети

---

Здесь W — матрица весов, I — матрица входных сигналов, а X — 
результирующая матрица комбинированных сглаженных сигна­
лов, поступающ их в слой 2. Символы матриц часто записывают 
с использованием полужирного шрифта, чтобы подчеркнуть, что 
данные символы представляют матрицы, а не просто одиночные 
числа.
Теперь нам не нужно заботиться о том, сколько узлов входит 
в каждый слой. Увеличение количества слоев приводит лишь к уве­
личению размера матриц. Но количество символов в записи при этом 
не увеличивается. Она остается по-прежнему компактной, и мы про­
сто записываем произведение матриц в виде W -I, независимо от ко­
личества элементов в каждой из них, будь это 2 или же 200!
Если используемый язык программирования распознает матрич­
ную нотацию, то компьютер выполнит все трудоемкие расчеты, свя­
занные с вычислением выражения X = W • I, без предоставления ему 
отдельных инструкций для каждого узла в каждом слое.
Это просто фантастика! Затратив немного времени на то, чтобы по­
нять суть матричного умножения, мы получили в свое распоряже­
ние мощнейший инструмент для реализации нейронных сетей без 
каких-либо особых усилий с нашей стороны.
А что насчет функции активации? Здесь все просто и не требует при­
менения матричной алгебры. Все, что нам нужно сделать, — это приме-
1
нить сигмоиду у = ------— к каждому отдельному элементу матрицы X.
1 + е
Это звучит слишком просто, но так оно и есть, поскольку нам не 
приходится комбинировать сигналы от разных узлов: это уже сдела­
но, и вся необходимая информация уже содержится в X. Как мы уже 
видели, роль функции активации заключается в применении порого­
вых значений и подавлении ненужных сигналов с целью имитации 
поведения биологических нейронов. Поэтому результирующий вы­
ходной сигнал второго слоя можно записать в таком виде: