Automated writer identification based on letter frequency distribution

Abstract

В последнее время стала популярной задача идентификации автора в связи с большим количеством текстов в цифровом виде. В настоящей работе проводится исследование метода распределения частот буквосочетаний для решения альтернативных задач: классификации и кластеризации текстов по авторству. Данный метод заключается в сопоставлении каждому тексту плотности функции распределения (ПФР) частот встречаемости буквосочетаний, состоящих из трех символов. В работе произведен анализ применимости этого подхода для текстов различной длины, написанных в публицистическом и литературном стиле речи на русском, английском и немецком языках. Приводятся результаты проведенных экспериментов.

Lately writer identification problem has become actual due to huge amount of documents in digital form. In the current work a new method based on letter frequency distribution is investigated for solving such tasks as classification and clustering of documents by authorship. The investigated method is based on mapping each document to PDF space, where PDF is a probability function density of three-gram frequency. The applicability of this approach for texts with different lengths, written in publicistic and literary styles, written in English, Russian and German languages is analyzed. The results of numerical experiments are provided.