«интернаука» Научный журнал №28(157) Август 2020 г. Издается с ноября 2016 года Москва 2020 ббк 94 И73 Председатель редакционной коллегии: Еникеев Анатолий Анатольевич

Модификация модели.
В целях улучшения 
предсказательной способности обученной модели 
были исследованы модификации слоёв, в частности 
слои пакетной нормализации и слои исключений.
Прежде чем ввести понятие пакетной нормали-
зации, следует пояснить подходы к обучению 
нейронных сетей: пакетный и стохастический [3]. 
При стохастическом подходе на каждой итерации 
алгоритма обучения модели используется только 
один объект обучающей выборки и используется, 
преимущественно, когда данные поступают после-
довательно. Пакетный подход к обучению исполь-
зуется в случае, когда имеется полный доступ к 
данным и использует всю обучающую выборку, 
называемую пакетом (англ. batch) или её подмноже-
ство 
фиксированного 
размера, 
мини-пакет 
(англ. mini-batch). При таком подходе можно до-
биться ускорения процесса благодаря эффективному 
распараллеливанию операций с матрицами при 
использовании графических процессоров [4]. 
Под 
пакетной нормализацией
(англ. batch-
normalization) понимается слой, нормализующий 
входные данные в рамках одного пакета, поданного 
на обучение нейронной сети [5]. Эта операция меня-
ет распределение пакета входных данных, делая 
математическое ожидание нулевым, а дисперсию – 
единичной. Использование пакетной нормализации 
в исследуемой модели обусловлено тем, что данные 
могут набираться как только из начала обучающей 
выборки, так и из конца, и, при монотонно возрас-
тающем тренде финансового ряда, коэффициенты 
модели могут скорректироваться на основе смещён-
ного среднего значения данных. Однако, в ориги-
нальной статье пакетная нормализация применяется 
в свёрточной нейронной сети, используемой в зада-
чах распознавания изображений [5], и эффектив-
ность данного метода в задачах прогнозирования 
временных рядов и при использовании перцептрона 
требует дополнительной оценки. 
Слой исключений
(англ. dropout) – слой, исклю-
чающий из обучения выходы из некоторых нейро-
нов с заданной вероятностью p. Исключённый 
нейрон будет при любых входных значениях воз-
вращать 0. Такой подход используется при обуче-
нии модели на малом количестве данных и позволя-
ет избежать переобучения модели на имеющихся 
данных, улучшая обобщающие способности се-
ти [6]. Несмотря на то, что в оригинальной статье 
использование слоя dropout продемонстрировано в 
задачах классификации, было принято решение 
также оценить эффективность применения данного 
слоя в задаче прогнозирования финансовых рядов.