Stream data aggregator

Abstract

Работа посвящена проектированию и реализации алгоритма, нацеленного на расчет статистики близкой к реальному времени. Разобраны методы работы с Kafka и Spark Structured Streaming. Написана программа, обеспечивающая с помощью Spark Structured Streaming расчеты заданных метрик в потоковом режиме. Организована передача данных от региональных серверов к основному с поэтапной обработкой.

The work is devoted to the design and implementation of an algorithm aimed at calculating statistics close to real time. Methods for working with Kafka and Spark Structured Streaming are discussed. A program that provides calculations of specified metrics in streaming mode using Spark Structured Streaming was written. Data transfer from regional servers to the main one with stage-by-stage processing was organized.