Development of a system for automated collection and data processing for machine learning

Abstract

Подготовка размеченных данных является обязательным и трудоемким этапом перед применением алгоритмов обучения с учителем для решения практических задач. Целью работы является проектирование масштабируемой и отказоустойчивой архитектуры инструмента для автоматизации процесса ручной разметки данных. На основе предложенной программной архитектуры разработан прототип приложения. В работе осуществлен теоретический расчет ускорения, которое может обеспечить реализованная в прототипе схема полуавтоматической разметки данных.

Preparing labeled data is a mandatory and time-consuming step before using supervised learning algorithms to solve practical problems. The aim of the work is to design a scalable and fault-tolerant architecture of the tool for automating the process of manual data annotation. An application prototype was developed on the basis of the proposed software architecture. Research includes a theoretical calculation of the acceleration that can be provided by the semi-automatic data annotation scheme implemented in the prototype.