Methods for increasing Apache Spark performance on heterogeneous memory systems

Abstract

Фреймворк Apache Spark и соответствующая ему экосистема становятся все более популярна и не только в больших коммерческих фирмах. Все больший интерес к использованию фреймворка проявляют научные организации. Фреймворк разрабатывался с учетом запросов бизнеса, которому требовалось недорогое, но при этом хорошо масштабируемое решение, использующее недорогие и стандартные компоненты. У научных организаций своя специфика задач, и требования к оборудованию отличаются. Интерес к технологии побуждают использовать фреймворк на нестандартном для него оборудовании. В работе рассматриваются способы повышения производительности Apache Spark на конфигурациях, отличных от общепринятых. Анализируются преимущества и недостатки рассмотренных методов.

Apache Spark and its ecosystem becomes more and more popular. It is used not only in big companies, but also in research institutions. Initially the framework was developed with business needs in mind. They require easy and large-scale solution that runs on cheap and commodity equipment. Research institutions have their own specific needs and their equipment has different architecture. This motivates to use the framework on uncommon equipment. This work studies methods to increase efficiency of Apache Spark using on uncommon configurations. Advantages and disadvantages of these methods are analysed.