Interface creation tool for crowdsourcing problem without development skills

Abstract

Использование краудсорсинга, основанного на микрозаданиях, позволяет создавать быстрые, масштабируемые и сравнительно дешевые процессы разметки данных. Однако текущий порог входа для заказчиков препятствует широкому распространению этого подхода. Значимую роль в этом занимает необходимость создавать интерфейс разметки. Сейчас заказчики на многих платформах вынуждены разрабатывать интерфейсы разметки используя низкоуровневые веб технологии. В данной работе приведен обзор особенностей интерфейсов заданий краудсорсинга. Также предлагается решение проблемы создания интерфейсов посредством введения конструктора интерфейсов. В данной работе описаны и аргументированы основные архитектурные решения и детали реализации такого конструктора. Также описана интеграция разработанного конструктора в краудсорсинг платформу Яндекс.Толока. Предлагаемое решение было протестировано как в лабораторных условиях, так и после внедрения в Яндекс.Толоку. Результаты указывают на то, что предлагаемое решение снижает порог входа для заказчиков, ускоряет процесс создания интерфейсов заданий и снижает количество ошибок в созданных интерфейсах.

Microtask crowdsourcing has emerged as a viable solution for fast, scalable and cost-efficient data labeling. However, entry barriers for requesters prevent rapid adoption. A big one amongst them being the necessity to create a data labeling user interface for workers. Currently, requesters have to develop a microtask user interface using low-level web technologies. In this paper, we highlight key traits of microtask user interfaces. We also propose a solution in the form of a microtask interface builder. This paper contains a detailed explanation of UI builder implementation and an overview of integration into a crowdsourcing platform (Toloka). The proposed solution was tested both in modeled in real-world scenarios. Our findings indicate that it does lower the entry barrier for requesters and allows for a faster, bug-free microtask UI creation.