Регистрация оценка эффективности светофорного регулирования на перекрестке при использовании адаптивной нейронечеткой системы управления А. В. Протодьяконов, С. Е. Швец, А. Н. Фомин

Процедура обучения
После того как рассчитаны предпочтения к выбору действий и оценка критика для времени
t:
, (4)
, (5)
на основе ε-жадного алгоритма выбирается действие Aj, которое применяется к системе,
что приводит к новому состоянию на следующем временном шаге S(t+1), которое критик
оценивает с теми же весами связей:
. (6)
Переход из состояния S(t) в S(t+1) приводит к получению награды r(t+1). На основе оценки
критиком этих двух состояний и выигрыша от перехода вычисляется ошибка временной
разности:
, (7)
где 
γ
– коэффициент забывания (
дисконтный
 фактор), означающий уверенность в оценке
награды, 0< 
γ
<1.

---

22.04.2022, 11:55
Оценка эффективности светофорного регулирования на перекрестке при использовании адаптивной нейронечеткой …
https://pandia.ru/text/78/038/1274.php
6/12
Ошибка временной разности применяется для обновления весов как критика, так и
действий, используя формулы (8) и (9) соответственно:
, (8)
, (9)
где 
β
– скорость обучения, заранее определенная константа (0; 1).
При этом на каждом шаге обновляются только веса выбранного j-го действия, которое было
применено к среде. Если изменения веса критика и действий изменяются меньше, чем
предопределенное минимальное значение, или система имеет тенденцию к стабилизации,
обучение прекращается.
Входные и выходные параметры, функция награды
В большинстве исследований в качестве входных переменных используются длины
очередей на каждом из направлений, а также текущая фаза светофора. С каждой
переменной длины очереди ассоциированы по два нечетких множества «short» и «long»,
примеры их функции принадлежности выражаются уравнениями (10) и (11) соответственно,
и графики изображены на рис. 2 [3]:
(10)
(11)

---

22.04.2022, 11:55
Оценка эффективности светофорного регулирования на перекрестке при использовании адаптивной нейронечеткой …
https://pandia.ru/text/78/038/1274.php
7/12
Рис. 2. Функции принадлежностей нечетких множеств «Short» и «Long»
(схематичо)
Текущая фаза представляет собой переменную, принимающую целые значения, с которой
ассоциировано N нечетких множеств (N – число фаз светофора). Если значение
переменной совпадает с номером нечеткого множества, то функция принадлежности ему
равна 1, иначе 0.
Так как цель системы – максимизировать функцию награды, то ее выбор оказывает
значительное влияние на эффективность функционирования всей системы. Например,
если в качестве целевой функции принять количество автомобилей, проехавших через
перекресток за один цикл, то это может привести к ситуациям, когда одни направления
получают приоритет, а на других возникают очереди транспортных средств.
В качестве целевой функции используется выражение [3]:
, (12)
где 
x
1 – количество автомобилей, которые проехали; 
x
2 – количество автомобилей в
очередях; 
x
3 – количество автомобилей, которые добавились к очереди; 
x
4 – количество
автомобилей на дороге, имеющей зеленый сигнал; 
x
5 – количество автомобилей, которые
остановились в момент переключения с зеленого на красный свет; 
βi
– неотрицательный
коэффициент для каждой переменной.
Параметр 
x1
поощряет движение через перекресток в течение времени между двумя
точками решения, 
x2
– отображает задержку остановившихся, 
x3
используется для оценки
ухудшения ситуации, 
x4
показывает количество автомобилей на текущей зеленой фазе (т.
е. те, кто может воспользоваться ее продлением), 
x5
соответствует штрафу переключения с
одной фазы на другую.