Ын Анналин, Су Кеннет

Рис. 3. Сравнение выигрышей при использовании
различных стратегий

---

174
Глава 12
. 
A/B-тестирование и многорукие бандиты
12.5. Забавный факт: 
ставка на победителя
Интересный случай проблемы многорукого бандита 
встречается в спорте. Во время работы в английском 
футбольном клубе «Манчестер Юнайтед» главный тре-
нер Луи ван Гал ввел необычную стратегию для того, 
чтобы определять порядок игроков во время серии 
пенальти.
Первый назначенный игрок продолжает бить пенальти, 
пока не промахнется. Вслед за ним до первого промаха 
бьет пенальти второй игрок и т. д. Эта стратегия известна 
как ставка на победителя.
Если бы мы применили эту футбольную стратегию 
в примере со слот-машинами из табл. 1, ставя на слот-
машину, которая принесла выигрыш, и сразу переклю-
чаясь на другую при проигрыше, наш результат составил 
бы около $ 909, что лишь ненамного лучше случайной 
игры. Если часто менять слот-машину, то получится 
много эксплорации и слишком мало эксплуатации. Кро-
ме того, ставка на победителя на основе лишь последней 
игры никак не учитывает результаты других прошлых 
игр. Становится очевидно, что эта стратегия далека от 
совершенства.

---

12.6. Ограничения стратегии снижения эпсилона
175
12.6. Ограничения стратегии 
снижения эпсилона
Хотя стратегия снижения эпсилона кажется превосход-
ной, она также подвержена ограничениям, из-за которых 
ее труднее применить, чем A/B-тестирование.
При использовании этой стратегии ключевым фактором 
становится значение эпсилона. Если эпсилон снижается 
слишком медленно, то можно потерять на том, что ис-
пользуется не лучшая слот-машина. Если же он снижает-
ся слишком быстро, можно ошибиться с выбором лучшей 
слот-машины.
Оптимальное снижение эпсилона зависит от того, на-
сколько сильно различаются коэффициенты отдачи двух 
слот-машин. Если они довольно близки, как в табл. 1, 
эпсилон следует снижать медленно. Для вычисления эп-
силона можно также использовать метод, называющийся 
семплированием Томпсона.
Стратегия снижения эпсилона также зависит от следу-
ющих допущений.
1.