Generalized sparse linear algebra library with vendor-agnostic GPUs acceleration

Abstract

Графовая модель позволяет естественным способом структурировать данных для анализа в некоторых областях. Реальные графы насчитывают десятки миллионов вершин и миллиарды ребер. Таким образом, требуется масштабируемый высокопроизводительный анализ графов. Хотя существует несколько способов решения этой проблемы, использование GPU является многообещающим из-за высокой степени параллелизма. Существующие инструменты для анализа графов на GPU предлагают производительность и программируемый интерфейс в той или иной степени. Однако большинство решений требуют огромных усилий и серьезного инженерного опыта для реализации даже простого алгоритма. Использование операций разреженной линейной алгебры в качестве блоков для реализации алгоритмов анализа графов выглядит многообещающим для решения этой проблемы, что является идеей стандарта GraphBLAS. В то время как обход графа может быть выражен с помощью произведения матрицы на вектор, такие операции могут быть эффективно реализованы на многоядерном CPU и GPU. Однако до сих пор не существует полнофункциональной реализации переносимой высокопроизводительной библиотеки операций разреженной линейной алгебры с поддержкой GPU из-за сложности реализации. В данной работе представлена библиотека Spla, которая пытается решить эту проблему. Библиотека операций разреженной линейной алгебры спроектирована и реализована с использованием OpenCL API для ускорения вычислений. Экспериментальное исследование с использованием реальных графовых данных показывает, что, несмотря на необходимость дальнейшей оптимизации, предлагаемое решение демонстрирует производительность, сравнимую с GraphBLAST, и остается переносимым, включая GPU компаний Intel, AMD и Nvidia. Более того, предлагаемое решение на интегрированном GPU превосходит SuiteSparse на соответствующем CPU в некоторых задачах анализа графов.

Graph model is a natural way to structure data for analysis in some domains. Real-world practical graphs count tens of millions of vertices and billions of edges. Thus, scalable high-performance graph analysis is demanding. While there are a number of ways to address this problem, the utilization of a GPU is promising due to the high parallelism nature. Existing tools and libraries for a graph analysis on GPUs feature high performance and programmable interface to some extent. However, most solutions require a massive effort and solid engineering background in order to implement a simple algorithm. Usage of sparse linear algebra operations as building blocks for graph analysis algorithms is a promising way to solve this issue. That is the core idea of the GraphBLAS standard. While the graph traversal can be formalized over matrix-vector products, the implementation of such operations can be efficiently implemented on multi-core CPUs and GPUs. However, there is still no fully-featured implementation of a portable high-performance sparse linear algebra operations library with GPUs support due to the complexity of GPU programming. This work presents the Spla library that aims to address this problem. The library for sparse linear algebra operations was designed and implemented using OpenCL API for computations acceleration. An experimental study using real graph data shows that while further optimizations are required, the proposed solution demonstrates performance comparable with GraphBLAST, and remains portable across different GPUs vendors including Intel, AMD and Nvidia GPUs. Moreover, the proposed solution on integrated GPU outperforms SuiteSparse on the respective CPU on some graph analysis tasks.