A modification of multi-armed bandit problem

Abstract

Данная выпускная квалификационная работа посвящена задаче о многоруком бандите и её модификациям. В первой главе работы рассматривается приложение задачи о многоруком бандите для тестирования интернет-страниц. Во второй главе предложен подход к тестированию страниц, основанный на задаче о контекстном бандите. Задача о контекстном бандите является модификацией задачи о многоруком бандите, в которой игроку, перед выбором очередного действия, сообщается множество контекстных векторов. В третьей главе предложена модификация задачи о многоруком бандите, которая заключается в добавлении экспертных подсказок. Формулируется задача с одним экспертом. Для её решения произведена модификация алгоритма UCB1. Затем задача обобщается на случай m экспертов. Предложены три метода формирования единой экспертной подсказки. Проведены численные эксперименты.

This paper is devoted to the multi-armed bandit problem and its modifications. In the first chapter we consider the testing of web-pages as a multi-armed bandit problem. In the second chapter we present a new approach to testing of web-pages based on the contextual bandit problem. The contextual bandit problem is the modification of the multi-armed bandit problem in which the learner before the choice of action sees a feature vector associated with each of its possible choices. In the third chapter we present a modification of the multi-armed bandit problem, where the player's decisions are based on expert opinions. To solve this problem we modified the algorithm UCB1. To demonstrate the results of applying the algorithm we suggest the Python software implementation of simulation.