Modernising a monitoring system for Yandex Taxi data management platform

Abstract

С каждым днем человечество производит огромные объемы данных, активно использующиеся компаниями для принятия решений на их основе. Эффективное управление данными позволяет компаниям получать значительное конкурентное преимущество через извлечение полезных сведений, необходимых для принятия бизнес-решений. Платформы управления данными (DMP) становятся ключевыми инструментами для повышения эффективности этих процессов, обеспечивая мониторинг и управление данными в режиме реального времени. Система мониторинга, использующаяся сейчас в Яндекс Такси, стала неэффективной для решения задач пользователей по мере роста количества задач и данных, обрабатываемые платформой. В данной работе будет произведен обзор существующей архитектуры системы мониторинга платформы управления данными, создаваемой в Яндекс Такси, а также описаны подходы к повышению эффективности работы с ошибками на всем их жизненном цикле, начинающемся с возникновения и заканчивающимся их исправлением.

Every day, humanity produces huge amounts of data, which are actively used by companies to make decisions based on them. Effective data management allows companies to gain a significant competitive advantage by extracting useful information necessary for making business decisions. Data Management Platforms (DMP) are becoming key tools to improve the efficiency of these processes by providing real-time data monitoring and management. The monitoring system currently used in Yandex. Taxi has become ineffective for solving user tasks as the number of tasks and data processed by the platform increases. This paper will review the existing architecture of the monitoring system of the data management platform created in Yandex Taxi, as well as describe approaches to improving the efficiency of working with errors throughout their lifecycle, starting with the occurrence and ending with their correction.