Development of semantic query language for big data analysis

Abstract

Разработчики и аналитики компании Яндекс каждый день анализируют документы страниц выдачи поисковых ответов. Они ищут в этих документах какие-то определенные данные, анализируют их (например, количество поисковых запросов, в которых был какой-то определенный тип объекта ответа). Один документ соответствует одному поисковому ответу. Все данные хранятся в MapReduce системе YT и их можно получить с помощью языка запросов YQL. Но функциональности YQL не всегда хватает для поиска данных. Появилась проблема: нет единого интерфейса для отображения документов и поиска в них, а также нет инструмента в системе YT для поиска данных о выдаче поисковых ответов. В данной работе подробно описана разработка решения этой проблемы: выбран язык запросов XPath для поиска данных в документах, разработано приложение для поиска данных в небольшом количестве документов и разработан инструментарий для поиска и анализа данных в системе YT.

Yandex developers analyze documents from search response pages every day. They search for certain data in these documents and analyze it (for example, the number of search queries that had a certain type of response object). One document corresponds to one search response. All data is stored in the MapReduce system YT and can be retrieved using the YQL - Yandex Query Language. However, YQL functionality is not always sufficient for searching data. There is a problem: there is no unified interface for displaying documents and searching in them, and there is no tool in the YT system for searching data about search results. This paper describes in detail the development of a solution to this problem. The XPath query language for searching data in documents has been selected, an application for searching data in a small number of documents and a tool for searching and analyzing data in the YT system have been developed.