Ын Анналин, Су Кеннет

172
Глава 12
. 
A/B-тестирование и многорукие бандиты
Таблица 1. Коэффициенты отдачи слот-машин
Слот-машина
Коэффициент отдачи
A
0,5
B
0,4
Итак, шанс выплаты составляет 50 % для слот-машины 
A и 40 % для слот-машины B. Тем не менее нам это неиз-
вестно. Вопрос в том, как нам играть, чтобы максимизи-
ровать выигрыш.
Давайте сравним возможные стратегии.
Полная эксплорация. Если мы играем на слот-машинах 
по очереди, то получим $ 900.
A/B-тестирование. Если мы применим A/B-тести-
рование на первых 200 играх, а затем используем это 
знание для следующих 1800 игр, то сможем выиграть 
в среднем $ 976. Но здесь есть подводный камень: по-
скольку коэффициент отдачи обеих слот-машин схож, 
есть 8 %-ный шанс, что мы ошибочно сочтем наиболее 
выгодной слот-машину B.
Чтобы снизить риск такой ошибки, мы можем увеличить 
эксплорацию до 500 игр. Это уменьшит вероятность 
ошибки до 1 %, но наш выигрыш тоже упадет до $963.
Стратегия снижения эпсилона. Если мы используем 
стратегию снижения эпсилона, чтобы во время игр от-
давать приоритет более щедрой слот-машине, то сможем 
выиграть в среднем 984 $ при 4 %-ной вероятности ошиб-

---

12.4. Пример: многорукие бандиты
173
ки. Мы можем снизить риск ошибки путем увеличения 
доли эксплорации (значения эпсилона), но, как и прежде, 
это повлияло бы на наш выигрыш.
Полная эксплуатация. Если мы располагаем инсайдер-
ской информацией о том, что слот-машина A возвращает 
больше, мы эксплуатируем ее с самого начала, рассчиты-
вая в среднем на $ 1000. Но это (почти) недостижимо.
Из рис. 3 видно, что при отсутствии инсайдерской инфор-
мации стратегия снижения эпсилона дает наибольший 
выигрыш. Более того, при большом числе игр математи-
ческое свойство, называемое сходимостью, гарантирует, 
что эта стратегия обязательно выявит лучшую слот-
машину.
900
963
976
984
1000
Полная 
эксплорация
Полная 
эксплуатация
Снижение 
эпсилона
Эксплуатация 
после 500 игр
Эксплуатация 
после 200 игр