Research of cost model accuracy influence on analytical query execution in heterogeneous systems

Abstract

Целью данной выпускной квалификационной работы является разработка и исследование модели затрат для исполнения аналитических запросов в гетерогенных системах. В данной работе описан метод оценки гетерогенных планов, основанный на выделении аналитических шаблонов и использовании времени их исполнения. Помимо этого, было продемонстрировано возможное использование введенного метода на примере HDK -- низкоуровневой библиотеки для анализа данных. В результате исследования было выявлено, что предложенная методология уже позволяет получать существенный прирост производительности, а при исследовании повышения точности было обнаружено, что модель затрат позволяет получать оптимальное время исполнения без необходимости полной ликвидации ошибки предсказаний.

The purpose of this thesis is to develop and study a cost model for the execution of analytical queries in heterogeneous systems. This paper describes a method for evaluating heterogeneous plans based on the extraction of analytical patterns and the use of their execution time. In addition, the possible use of the introduced method was demonstrated using the example of HDK, a low-level library for data analysis. As a result of the study, it was revealed that the proposed methodology already allows for a significant increase in productivity, and in the study of improving accuracy, it was found that the cost model allows for optimal execution time without the need to completely eliminate the prediction error.