A/B tests in mobile game development

Abstract

Процесс A/B тестирования широко применяем в IT-сфере и дает достаточно достоверные результаты, но есть важные нюансы. Во-первых, проводить A/B тесты - долго и дорого, требуется много ресурсов. Во-вторых, нередко значимая разница между вариантах отсутствует, поэтому необходим большой объем выборки, а данные должны быть качественнее, чего мы не всегда можем добиться. В данной работе изучаются A/B тесты в индустрии разработки мобильных игр, поскольку в ней есть специфические характеристики. В играх часто бывают небольшие эффекты, а также некачественные данные, которые еще и долго и сложно собирать, поэтому возникают вопросы: корректно ли мы используем A/B тесты и можно ли в некоторых случаях обойтись без них. В данной работе представлены результаты по следующим задачам: 1. Проверка применимости статистических тестов. 2. А/B тест без непосредственного проведения А/B теста. 3. Влияние распределения улучшения от фичи на A/B тесты.

The A/B testing process is widely used in the IT industry and provides sufficiently reliable results, however, there are important nuances to consider. Firstly, conducting A/B tests is time-consuming and expensive, requiring significant resources. Secondly, it often happens that there is no significant difference between variants, which necessitates a large sample size and higher quality data, which may not always be achievable. In this paper, we study A/B testing in the mobile game development industry due to its specific characteristics. In games, there are often small effects and skewed data, which are difficult and time-consuming to collect, raising questions about the appropriate use of A/B tests in certain conditions, and whether it is possible to do without them in some cases. This paper presents results on the following tasks: 1. Verification of the applicability of statistical tests. 2. A/B test without directly conducting an A/B test. 3. The impact of feature improvement distribution on A/B tests.