Регистрация оценка эффективности светофорного регулирования на перекрестке при использовании адаптивной нейронечеткой системы управления А. В. Протодьяконов, С. Е. Швец, А. Н. Фомин

Алгоритм функционирования системы
Общей целью системы является максимизация получаемой награды, которую можно
получить в будущем в течение длительного периода времени. [6] Система на основе
текущего состояния S(t) среды, выбирает определенное действие и применяет его, что
приводит к новому состоянию S(t+1). Разница между ними оценивается функцией награды
r(t+1), которая характеризует степень пользы или вреда, которое принесло примененное
действие. Однако само по себе это значение ничего не означает для системы (так как в
разных условиях это может означать разный результат), поэтому в системе вводится
дополнительная внутренняя оценка ситуации, которая также подстраивается в процессе
обучения.
Таким образом, функционирование системы условно можно разделить на расчет
предпочтения действий и обучение (корректировка весов) на основе функции награды.
Расчет предпочтения действий:
1. Вычисление активационной силы (
firing strange
– FS) 
j
-го правила определяется
выражением:
, (1)
где 
a
(
i
) – одно из нечетких множеств для 
i
-й входной переменной; 
– значение
функции принадлежности 
a
(
i
) нечеткого множества и это значение используется в 
j
-м
правиле.
2. Вычисление предпочтений к выбору действий:
, (2)
где 
– предпочтение выбора действия 
; 
– вес связи между действием 
и 
j
-м правилом.
Выбор действия в режиме управления производится согласно жадному алгоритму, т. е.
выбирается действие, имеющее наибольшее значение предпочтения. В процессе обучения
выбор действия происходит согласно ε-жадному алгоритму (что позволяет выходить из
локальных минимумов).

---

22.04.2022, 11:55
Оценка эффективности светофорного регулирования на перекрестке при использовании адаптивной нейронечеткой …
https://pandia.ru/text/78/038/1274.php
5/12
3. Значения критика вычисляется аналогичным образом:
, (3)
где 
V
– значение критика; 
– вес связи между критиком и 
j
-м правилом.