Мышление человека. 2

52)

53) Операция пулинга. Кроме таких непосредственных (традиционных) сверток в таких сетях применяется еще одна очень важная и широко применимая операция, которая называется «пулинг» (Pooling – изменение масштаба).
Сушествует 3 типа операций пулинга:
- Max Pooling – отбор наибольших значений;
- Min Pooling – отбор наименьших значений;
- Average Pooling – отбор средних значений.
На рис. показан процесс реализации операции пулинга. Представлен вариант карты признаков 6х6. Проводится анализ карты признаков непересекающимися окнами размером 2х2. Процесс смещения, в отличие от сверточного процесса, идет отдельными, не связанными шагами. В каждом из окон отбирается максимальное значение (33,88,65 и т.д.).

Рис. Реализация операции пулинга (вариант Max Pooling)

Вся карта признаков прогоняется такими окнами и в каждом окне выбирается максимальный элемент. В итоге карта признаков уменьшается в два раза и получается новая карта признаков меньшего масштаба. При использовании других операций пулинга (Min Pooling, Average Pooling) масштабы сохраняются, изменяются только значения чисел в клетках.Операция Max Pooling позволяет анализировать изображение на разных масштабах. Чем крупнее масштаб, тем более общие детали подвергаются анализу. Благодаря этому нейроны следующего слоя способны выделить более общие признаки изображения. Большие значения чисел соответствуют наличию информативного признака. Отбор максимальных чисел позволяет сохранять ранее найденные информационные признаки для дальнейшего анализа на более крупном масштабе.

54) Общая архитектура сверточной нейронной сети. Для упрощения в качестве примера (рис.13.4) предполагается, что на вход нейронной сети подается изображение размером 32х32 пиксела. Оно проходит через 10 каналов первого скрытого слоя. В результате получается карта признаков размером 32х32х10. Далее по условию задачи весь этот тензор (карта признаков) пропускается через процедуру Max Pooling, и на выходе получается карта размером 16х16х при 10 каналах. Размер 32х32 уменьшен в 2 раза. Max Pooling может уменьшать и в 64 и в 8 раз, все зависит от размеров окон и шагов смещения.

55) Сеть Хопфилда. Среди моделей нейронных сетей существуют такие, которые по способу обучения нельзя отнести к традиционным (обучающихся с учителем или без него). В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных. Из сетей с подобной логикой работы наиболее известна сеть Хопфилда, которая обычно используется для организации ассоциативной памяти. Человеку для порождения некоторого воспоминания необходимо провести ассоциацию связанного с ним события или объекта, в случае компьютера сеть Хопфилда обеспечивает работу ассоциативной памяти – поиск в памяти образца данных, наиболее схожего с предъявляемым образцом. Обычная же компьютерная память является адресуемой, то есть информация извлекается по предъявляемому адресу. Сеть Кохонена. Основным их назначением сетей Кохонена является кластеризация образцов, то есть разделение образцов на группы (кластеры) по тем или иным признакам.. Нейронная сеть Кохонена в отличие от рассмотренных сетей обучается без учителя, поэтому назвается самоорганизующейся картой Кохонена. Применение кластерного анализа в общем виде сводится к следующим этапам: - отбор выборки объектов для кластеризации; - определение множества переменных с нормализацией их значений; - вычисление значений меры сходства между объектами;,- реализация алгоритма метода кластерного анализа для создания групп сходных объектов; - представление результатов анализа.