Designing an agent application for the specialized distributed computing system SPD Online filter

Abstract

Одной из ключевых технических особенностей установки SPD (Spin Physics Detector) является безтриггерный съем данных, обусловленный определенной сложностью исследуемых физических процессов. Система сбора данных (DAQ) осуществляет агрегацию данных с детекторов установки и организацию их в блоки для последующей первичной обработки. Совокупный объем данных после агрегации может достигать 20 Гб/сек, а годовой объем собираемых данных будет измеряться сотнями петабайт. Для решения задачи выявления и фильтрации событий в потоке данных создается специализированная вычислительная система "SPD OnLine filter". Эта система представляет собой программно-аппаратный комплекс для высокопропускной обработки данных. В данной работе представлен обзор архитектуры и прототипа агентского приложения, которое обеспечивает выполнение задач на вычислительных узлах.

One of the key technical features of the SPD (Spin Physics Detector) installation is trigger-free data collection due to a certain complexity of the physical processes under study. The data acquisition system (DAQ) aggregates data from the detectors of the installation and organizes them into blocks for subsequent primary processing. The total amount of data after aggregation can reach 20 GB/sec, and the annual volume of data collected will be measured in hundreds of petabytes. To solve the problem of detecting and filtering events in the data stream, a specialized computing system "SPD OnLine filter" is being created. This system is a hardware and software complex for high-throughput data processing. This paper presents an overview of the architecture and prototype of an agent application that provides tasks on computing nodes.