Application of machine learning methods for semi-automatic news processing

Abstract

Рассматривается задача поиска 6 частей преступления - что, где, когда, кто сделал над кем и с помощью какого оружия - в новостных статьях. Приведен обзор фрэймворков для обработки тексов. Рассмотрен алгоритм для поиска 6 частей преступления, основанный на присутствии насильственного глагола в тексте. Произведено сравнение данного алгоритма с существующими подходами для поиска времени и места. Рассмотрена задача классификации насильственных глаголов и оружия с помощью обученных моделей w2v и glove. Приден алгоритм классификации, описаны и посчитаны метрики классификатора.

This article describes a problem of finding 6 parts of crime - “Who used what Weapon to do What to Whom. Where and When” in news articles. An algorithm of finding 6 aspects of crime, the main idea of which is finding violent verb, is presented; existing text analyzing frameworks and applications are described; comparison between existing algorithms and stated is presented as well. Also the problem of violent verbs and weapons binary classification with created algorithm based on trained vector models w2v and glove are described. The illustrated results of algorithms comparison are shown.