Automatic retrieval of quantitative information from a Russian-language text corpus

Abstract

Целью нашей работы было произвести лингвистический анализ особого класса лексико-грамматических конструкций, а именно, количественных конструкций, которые характеризуют научные и научно-популярные тексты. В текстах данного типа наряду с конструкциями, включающими модификаторы «много», «мало», «значительно», часто встречаются контексты, содержащие выражение количественных показателей с указанием точных величин («находиться в 5 км от Х», «полоса шириной 30 мм» и т.д.). Достижение указанной цели требует решения ряда задач, основными из которых являются: 1) сбор и предобработка корпусов текстов, содержащих количественные конструкции, 2) автоматический анализ корпусов текстов для выявления сождержащихся в них количественных конструкций, 3) систематизация данных о русских количественных конструкциях из корпусных источников и их лингвистическая интерпретация, 4) анализ отрицательного материала (разбор нестандартных случаев и ошибочных решений анализатора). Материалом нашего исследования являются все конструкции, использующие меры длины в системе си (нм, мкм, мм, м, км). Далее, с помощью автоматизированных средств следует выделить конструкции с обозначением размера, например: «маскируемого медного цилиндра с радиусом 25 мм» или «атмосфера, толщиной 200 – 300 мкм», при этом учесть следующие элементы сущности: • количество (обозначается числовым выражением); • единицы измерения; • измеряемый предмет; • параметр, по которому измеряется предмет (например, длина). Также возможно выделение лексических модификаторов, находящихся перед числовым выражением («примерно», «вплоть до», «около», «свыше» и т.п.). Источниками лингвистических данных являются корпусы русских текстов, прежде всего веб-корпус RuTenTen.

The aim of our study was to perform a linguistic analysis of a special class of lexical and grammatical structures, namely, quantitative constructions that characterize the scientific and non-fiction texts. Texts of this type often include contexts containing expressions indicating exact quantities ( "is located 5 km from X", "a band 30 mm wide" etc.). Achieving this goal requires solving a number of problems, the main ones are: 1) collection and pre-processing of texts containing quantitative structure, 2) automatic analysis of texts to identify quantitative constructions, 3) systematization of quantitative data on Russian quantitative constructions and its linguistic interpretation, 4) analysis of non-standard cases, and erroneous decisions analyzer. The material of our study are constructions using measures of length in the SI (nm, m, mm, m, km). Then, using automated means should be allocated to the constructions with size designation, such as "masked copper cylinder with a radius of 25 mm" or "atmosphere, with a thickness of 200 - 300 microns", thus to consider the following elements of the entity: • The number (denoted by a numeric expression); • units; • the measured object; • the parameter of measurement (for example, length). It is also possible the selection of lexical modifiers are in front of the numerical expression ( "about", "until", "approximately", "above", etc.). Sources of linguistic data corpus of Russian texts is primarily the RuTenTen web-corpus.