Development of toolkit for handling results of hydrometeorological data re-analysis using parallel primitives of functional programming

Abstract

Проблема обработки больших объёмов многомерных данных характерна для прикладных задач географии и океанологии, однако, на данный момент не существует эффективного и широко используемого решения. В представленной работе эта проблема решается в рамках задачи моделирования волн цунами. В этой задаче требуется производить динамическую переинтерполяцию батиметрических данных на сетке разного масштаба, в зависимости от расстояния до береговой линии и наличия островов на пути следования фронта волны. В данной работе переинтерполяция реализуется с помощью примитивов параллельного программирования, которые применяются к многомерным массивам данных, распределённых по узлам вычислительного кластера. Это позволяет эффективно работать с объёмами данных, превышающих объём памяти одного вычислительного узла, а также добиться более высокой скорости обработки по сравнению с последовательной программой.

The problem of processing large volumes of multidimensional data is typical in geography and oceanography applied research. At the moment effective and widely used solution of the the problem does not exist. In the study reported here, this problem is solved in the framework of tsunami waves modeling. This task involves dynamic re-interpolation of bathymetry data on multiple grids of different scales. It is determined by the distance from the coastline and existence of islands along the front of wave. In this work re-interpolation is implemented by applying parallel programming primitives to multidimensional arrays of data, which are distributed across the computer cluster nodes. It allows to work effectively with data that does not fit into the memory of one compute node. In addition to this, it improves processing speed compared to the sequential program.