Учебное пособие по курсу интеллектуальные системы (Часть 1) Москва 2003

3.3. Нейронные сети

Интересно отметить, что многие методы машинного обучения основаны на парадигмах, связанных с различными областями исследования. Так генетические алгоритмы возникли из биологии, в то время как нейронные сети моделируют работу человеческого мозга. В теории психоанализа Фрейда человеческий мозг описывается как нейронная сеть, и недавние исследования подтвердили эту точку зрения. Человеческий мозг состоит из очень большого количества нейронов, приблизительно 10¹¹, соединенных друг с другом посредством огромного числа так называемых синапсов. Одиночный нейрон соединен с другими нейронами парой тысяч этих синапсов. Хотя нейронные могут быть описаны как простые строительные блоки мозга, человеческий мозг может обрабатывать очень сложные задачи, несмотря на эту относительную простоту. Поэтому эта аналогия предлагает интересную модель для создания более сложных обучающихся машин, и она привела к созданию искусственных нейронных сетей. Такие сети могут быть построены путем использования специальных аппаратных средств, но большинство представляют собой только программы, которые могут функционировать на обычных компьютерах. Обычно, нейронная сеть состоит из множества узлов: входные узлы получают входные сигналы, выходные узлы задают выходные сигналы, а потенциально неограниченное число промежуточных слоёв содержат промежуточные узлы. Существует разнообразие различных архитектур для нейронных сетей, и каждая из них использует различные соединения и стратегии обучения, чтобы выполнить задачи.

При использовании нейронных сетей необходимо различать две стадии - стадию кодирования (обучения), в которой нейронная сеть обучается выполнять определенную задачу, и стадию декодирования (выполнения), в которой сеть используется для классификации примеров, выполнения предсказаний или выполнения чего бы то ни было, для чего была предназначено обучение. Существуют несколько различных типов нейронной сети, в данном контексте рассмотрим три из них, наиболее существенные для технологии обнаружения знаний [3,4,5]:
1) персептроны;
2) сети с обратным распространением ошибок;
3) само организующие структуры (сети) Кохонена.
В 1958 г. Фрэнк Розенблатт из Корнельской аэрокосмической лаборатории (США) построил так называемый персептрон, одна из первых реализаций того, что позже стало известно как нейронная сеть. Персептрон состоит из простой трёхуровневой сети с входными модулями, называемыми фоторецепторами, промежуточными модулями, называемыми ассоциаторами, и выходными модулями, называемыми респондерами. Персептрон мог обучаться простым категориям и таким образом мог использоваться для выполнения простых задач классификации. Несколько позже в 1969 г. Минский и Пайперт показали, что класс задач, которые мог бы быть решен машиной с архитектурой типа персептрон, очень ограничен. И только в 80-х годах исследователи начали разрабатывать нейронные сети с более сложной архитектурой, что позволило преодолеть эти трудности. Главным усовершенствованием было введение скрытых слоёв и нелинейных функций активации в так называемых сетях с обратным распространением.
Сеть с обратным распространением имеет не только входные и выходные узлы, но также множество промежуточных слоёв со скрытыми узлами. На начальной стадии сеть с обратным распространением имеет случайные веса на своих синапсах. При обучении сети мы воздействуем на неё обучающим множеством входных данных (обучающей выборкой). Для каждого обучающего примера фактический выход сети сравнивается с желаемым выходом, который давал бы правильный ответ; если существует различие между правильным ответом и фактическим ответом, веса индивидуальных узлов и синапсов сети корректируются. Этот процесс повторяется, пока ответы не станут более или менее точны. Когда структура сети стабилизируется, стадия обучения завершается, и сеть теперь обучена и готова классифицировать неизвестный вход.
На рис. 3.8 представлена простая архитектура нейронной сети, которая может выполнять анализ на фрагменте нашей базы данных маркетинга. Атрибут возраста разбивается на три возрастных класса, каждый из которых представляется отдельным входным узлом. Атрибуты владения домом и автомобилем также имеют соответствующие входные узлы. Существуют четыре дополнительных узла, идентифицирующие четыре области, таким образом, каждый входной узел соответствует простому решению "да-нет". То же справедливо для выходных узлов: каждый журнал имеет узел. Ясно, что это кодирование хорошо соответствует информации, хранимой в базе данных.
Входные узлы связаны связями со всеми скрытыми узлами, а скрытые узлы связаны связями со всеми выходными узлами. В необученной сети связи между узлами имеют равные веса. На этапе обучения сеть получает примеры пар входов-выходов, соответствующих записям в базе данных, и регулирует веса различных связей до тех пор, пока все входы не будут соответствовать соответствующим входам.
На рис. 3.9 показано состояние сети в процессе обучения распознаванию читателей автомобильного журнала и комиксов. На рис. 3.10 показано внутреннее состояние сети после обучения. Конфигурация внутренних узлов показывает, что существует определенная связь между читателями автомобильного журнала и комиксов. Однако сеть не порождает правило, чтобы идентифицировать эту ассоциацию.

Рис. 3.8 Архитектура нейронной сети для простого процесса

обнаружения знаний.

Сети обратного распространения являются значительным усовершенствованием архитектуры персептрона. Однако они также имеют недостатки, одним из которых является то, что им требуется чрезвычайно большое обучающее множество. Другая проблема нейронных сетей состоит в том, что хотя они обучаются, но не обеспечивают нас теорией относительно того, как они обучались - они являются просто черными ящиками, которые дают ответы, но не обеспечивают никакой информацией, как они достигли этих результатов.

Рис. 3.9. Сеть обучается распознавать читателей
автомобильного журнала.

В 1981г. Тиево Кохонен продемонстрировал версию нейронных сетей, которая в настоящее время известна как само организующие структуры Кохонена. Эти нейронные сети являются искусственными копиями структур, существующими в различных частях местах мозга, таких как визуальные структуры, структуры пространственных возможностей сетчатки и так далее. Точнее, само организующие структуры Кохонена представляет собой совокупность нейронов или элементов, каждый из которых соединен с небольшим числом других элементов, называемых его соседями. Большую часть времени структура Кохонена двумерна; каждый узел или элемент содержит коэффициент, связанный с пространством, чья структура исследуется. При начальной установке само организующая структура имеет случайное назначение векторов каждому элементу. В процессе обучения эти векторы инкрементно корректируются, чтобы дать лучшее покрытие пространства.

Рис. 3.10. Сеть определяет читателей автомобильного

журнала и комиксов.

Естественный способ визуализировать процесс обучения само организующей структуры есть так называемый фильм Кохонена, который представляет собой последовательность фреймов, показывающих позиции векторов и их связей с соседними ячейками. Сеть можно представлять как эластичную поверхность, которая растянута над пространством выборки. Нейронные сети хорошо выполняют задачи классификации и могут быть очень полезны в технологии обнаружения знаний.