Филиал Кузгту в г. Белово Кемеровское региональное отделение рэа, Россия

 
 

---

64 
УДК 004 :519.6 
ВОССТАНОВЛЕНИЕ ФУНКЦИОНАЛЬНОЙ ЗАВИСИМОСТИ:
ЗАДАЧА РЕГРЕССИИ В ГЛУБОКОМ ОБУЧЕНИИ 
А. Ю. Диваев, В. С. Паршуков, Р. С. Макарчук 
КузГТУ, филиал КузГТУ в г. Белово 
В настоящее время нейронные сети проникли и продолжают прони-
кать практически во все сферы человеческой деятельности. В банковской 
сфере их можно использовать, например, для определения надежности за-
емщика. В сфере обслуживания они помогают вовремя заметить снижение 
степени лояльности клиента и предотвратить смену клиентом поставщика 
услуг. В сфере информационной безопасности нейронные сети позволяют 
надежно идентифицировать клиента по биометрическим данным. 
Хотя решения, построенные на основе нейронных сетей, могут 
внешне вести себя подобно традиционному программному обеспечению, 
принципы их работы отличаются существенно. Поведение нейронных се-
тей обусловливается их обучением, а не программированием конкретных 
действий. В большинстве случаев нейронные сети используются тогда, ко-
гда невозможно написать подходящую программу, или по причине того, 
что решение, найденное нейронной сетью, оказывается лучше, а реализа-
ция проще. Но даже более решающим оказывается тот факт, что в случае 
возможности использования нейронной сети для решения какой-либо за-
дачи, результат решения может быть улучшен за счет приобретения 
нейронной сетью новых знаний, полученных за счет предоставленных ей 
новых данных (новой обучающей выборки). 
Целью настоящей работы является программная реализация искус-
ственной нейронной сети для восстановления функциональной зависимо-
сти. Задачи такого рода относятся к классу регрессионных. 
Искусственная нейронная сеть представляют собой совокупность 
взаимодействующих между собой элементов, называемых нейронами. 
Нейроны представляют собой простые вычислительные узлы, возможно-
сти которых заключаются в комбинировании поступающих сигналов и ис-
пользовании некоторого правила (функции активации), позволяющего по-
лучить в результате один выходной сигнал. Выходной сигнал нейрона за-
тем подается на вход другим нейронам посредством установленных связей 
(синапсов), каждой из которых приписывается определенный весовой ко-
эффициент. В зависимости от значения весового коэффициента передавае-
мый сигнал может быть усилен или наоборот ослаблен. Несмотря на то, 
что единичный элемент такой сети имеет весьма ограниченные вычисли-
тельные возможности, вся сеть в целом, объединяющая большое число та-
ких элементов, оказывается способной находить решение сложных задач. 
Для реализации нейронной сети в настоящей работе используется 
следующее программное обеспечение: интерпретатор языка программиро-

---

65 
вания Python, библиотека PyTorch, инструмент разработки проектов в об-
ласти машинного обучения и анализа данных Jupyter Notebook. 
Python является высокоуровневым интерпретируемым языком про-
граммирования, содержит обширную стандартную библиотеку модулей 
протестированного кода, а также огромное количество сторонних библио-
тек, наличие которых, в частности, и превратило его в один из самых по-
пулярных языков программирования для задач машинного обучения (и не 
только). PyTorch – библиотека для работы с тензорами (фактически, мно-
гомерными матрицами), включающая набор модулей для глубокого обуче-
ния. 
Выбор перечисленных средств для построения и обучения нейрон-
ной сети продиктован тем, что все они являются бесплатными, кроссплат-
форменными, хорошо документированными, а главное, являются по сути 
стандартом «де-факто» в области решения задач машинного обучения. 
Нейронная сеть в настоящей работе содержит три слоя: входной, на 
который подается обучающая выборка, выходной, с которого снимается 
ответ, и скрытый, который по сути и решает поставленную задачу. В каче-
стве функции активации здесь используется логистическая функция: 
1
1 e
x




.
(1) 
Обучающая выборка представляет собой множество пар
( ,
)
i
i
x y
, где 
i
x
– значение признака (в нашем случае декартовой координаты
x
),
i
y
– 
значение целевой переменной (также декартовой координаты
y
) при соот-
ветствующем значении признака. Значения целевой переменной 
i
y
пред-
ставляют собой сумму значений некоторой функции
( )
y
f x

в точке
i
x
и 
значений нормально распределенной случайной величины с математиче-
ским 
ожиданием 
равным 
нулю 
и 
стандартным 
отклонением


0, 2 max ( )
min ( )
i
i
i
i
f x
f x



, который моделирует зашумление данных. 
Поиск оптимального решения осуществляется путем минимизации 
функции потерь, в качестве которой здесь используется среднеквадратиче-
ская ошибка (Mean Squared Error), определяемая формулой: 


2
1
1
MSE
n
i
i
i
y
y
n




,
(2) 
где 
i
y
– оценка значения целевой переменной нейронной сетью, 
n
– объем 
обучающей выборки. 

---

66 
Для поиска минимума функции потерь используется алгоритм Адам 
Д. Кингма и Д. Ба, основанный на методе стохастического градиентного 
спуска. 
На рис. 1 (а) приведены результаты обучения нейронной сети 
(штрихпунктирная линия), имеющей один скрытый слой, состоящий из 
трех нейронов. Сплошной линией изображен график функции
arctg
y
x

, на 
основе которой была создана обучающая выборка, представленная на ри-
сунке зелеными точками. На рис. 1 (б) изображен график функции потерь, 
убывающей с увеличением количества эпох (каждая эпоха представляет 
собой один шаг алгоритма оптимизации функции потерь). Видно, что при-
близительно после 120 эпох средняя ошибка перестает уменьшаться, что 
означает достижение минимума функции потерь, и дальнейший процесс 
итерирования по эпохам становится бессмысленным. 
а)
б)
Рис. 1. Результат обучения (а) и значение функции потерь MSE (б) для 
функции
arctg
y
x

На рис. 2 приведены результаты обучения той же нейронной сети на 
выборке, созданной на основе функции
sin
y
x

. Видно, что результат ее 
обучения в этом случае значительно уступает результатам предыдущего.
а)
б)
Рис. 2. Результат обучения (а) и значение функции потерь MSE (б) для 
функции
sin
y
x


---

67 
Связано это с тем, что логистическая кривая имеет лишь одну точку 
перегиба в отличие от графика функции
sin
y
x

. Тем не менее, логистиче-
ская функция вполне подходит в качестве функции активации и в этом 
случае: нужно лишь увеличить количество нейронов в скрытом слое. Ре-
зультаты обучения сети, имеющей скрытый слой из 10 нейронов, пред-
ставлен на рис. 3. Стоит отметить значительное улучшение качественной 
картины (рис. 3(а)), а также уменьшение средней ошибки (рис. 3(б)). 
а)
б)
Рис. 3. Результат обучения (а) и значение функции потерь MSE (б) для 
функции
sin
y
x

(10 нейронов) 
В последних двух случаях можно еще немного уменьшить среднюю 
ошибку, увеличив количество эпох, но качественного улучшения результа-
та в этом случае уже не происходит. 
В ходе выполнения настоящей работы получены результаты обуче-
ния нейронной сети для решения задачи регрессии для различных элемен-
тарных функций, а также аналогичные результаты с использованием 
функции активации
th
y
x

, однако в силу ограниченности объема публи-
кации представлены лишь некоторые из полученных результатов. 
В дальнейшем планируется решение задачи классификации восста-
новленных функциональных зависимостей с целью определения элемен-
тарных функций, лежащих в основе выборки.