Ын Анналин, Су Кеннет

12.3. Стратегия снижения 
эпсилона
В то время как A/B-тестирование подразумевает, что 
исследование того, какая из версий лучше, предшествует 

---

170
Глава 12
. 
A/B-тестирование и многорукие бандиты
ее применению, нам в действительности необязательно 
ждать окончания эксплорации до начала эксплуатации.
Если у первых 100 посетителей реклама A собрала больше 
кликов, чем реклама B, то для следующих 100 посетите-
лей мы можем увеличить ее показ на 60 %, снизив показ 
рекламы B до 40 %. Это позволит нам применить уже 
первоначальные результаты, говорящие о большей эф-
фективности версии A, не мешая продолжать исследова-
ние на случай, если эффективность версии B улучшится. 
Чем больше результаты будут свидетельствовать в пользу 
рекламы A, тем меньше мы будем показывать рекламу B.
Этот подход называется стратегией снижения эпсилона 
(Epsilon-Decreasing Strategy). Эпсилоном обозначается 
доля времени, которая тратится на показ альтерна-
тивы для подтверждения ее низкой эффективности. 
Поскольку мы снижаем эпсилон по мере укрепления 
нашей уверенности в том, что одна из версий лучше, 
этот метод принадлежит к классу алгоритмов обучения 
с подкреплением.
Стратегия снижения 
эпсилона
A/B-тестирование
Эксплорация
Эксплуатация
Рис. 1. В то время как A/B-тестирование включает один этап 
эксплорации и один этап эксплуатации, стратегия снижения 
эпсилона чередует их, постепенно увеличивая эксплуатацию

---

12.4. Пример: многорукие бандиты
171
12.4. Пример: многорукие бандиты
Типичным примером для иллюстрации различий между 
A/B-тестированием и стратегией снижения эпсилона 
является игровой автомат по типу слот-машины. Пред-
положим, что слот-машины имеют разный коэффициент 
отдачи, а цель игрока, выбрать ту из них, которая обеспе-
чит лучший выигрыш.
Рис. 2. Однорукий бандит
Слот-машины прозвали однорукими бандитами за их 
умение с каждым нажатием рычага опустошать карманы 
игроков. Выбор того, на какой из слот-машин играть, 
известен как проблема многорукого бандита, как теперь 
называют любую схожую задачу с распределением ре-
сурсов, например то, какую онлайн-рекламу показывать, 
какие темы освежить перед экзаменом или какие фарма-
цевтические исследования профинансировать.
Предположим, что выбирать нужно из двух слот-машин, 
A и B, а у нас достаточно денег, чтобы сыграть на них 
2000 раз. Во время каждой игры мы дергаем рычаг, что 
может принести нам $ 1 или не вернуть ничего.

---