Ын Анналин, Су Кеннет

12
A/B-тестирование 
и многорукие бандиты

---

12.1. Основы A/B-тестирования
Представьте, что вы управляете онлайн-магазином и хо-
тите запустить рекламу, информирующую людей о теку-
щих предложениях. Какую фразу вы бы использовали?

Скидки до 50 % на товары!

Некоторые товары за полцены.
Хотя обе фразы имеют одинаковый смысл, одна из них 
может оказаться убедительнее второй. Возникают, к при-
меру, следующие вопросы. Стоит ли использовать вос-
клицательный знак, чтобы вызвать азарт у покупателей? 
Окажутся ли «50 %» заманчивее, чем «полцены»?
Чтобы выяснить, что именно сработает, можно в течение 
пробного периода показывать каждую версию рекламы 
100 людям, оценив, сколько раз они кликнут на каж-
дой из них. Реклама, которая соберет больше кликов, 
привлечет и больше покупателей, и таким образом, она 
должна использоваться на протяжении всей последу-
ющей рекламной кампании. Эта процедура называется 
A/B-тестированием, когда сравнивается эффективность 
версий A и B.

---

12.3. Стратегия снижения эпсилона
169
12.2. Ограничения
A/B-тестирования
Метод A/B-тестирования имеет две проблемы.
Результаты могут быть обычным совпадением. По чи-
стой случайности неудачная реклама может превзойти 
лучшую. Для большей уверенности в результатах мы 
можем увеличить число людей, которым показываются 
разные версии, но это и приводит нас ко второй проблеме.
Возможная потеря прибыли. Увеличивая число людей, 
которым мы будем показывать разные версии рекламы со 
100 до 200, мы удваиваем показ менее успешной рекламы, 
что может привести к потере покупателей, которых бы 
убедила лучшая версия.
Две эти проблемы показывают компромисс A/B-тес ти-
рования: эксплорация против эксплуатации. Если увеличить 
число людей для тестирования рекламы (эксплорация), то 
можно надежнее выявить, какая из версий лучше, но будут 
потеряны возможные покупатели, которые могли совер-
шить покупки, увидев лучшую рекламу (эксплуатация).
Как же найти равновесие?