Automatic style detection of fine-art paintings

Abstract

В данной работе была реализована система для автоматического распознавания стиля картин. Цель состояла в исследовании возможностей автоматического определения стиля. Для достижения поставленной задачи были реализованы алгоритмы по извлечению различных низкоуровневых (GIST, PHOG, SIFT, SSIM) и высокоуровневых (Classemes, PiCoDes) характеристик. Путем анализа векторов характеристик, были выделены наиболее значимые. Для распознавания стиля были применены алгоритмы классификации и построена нейронная сеть. Было предложено использовать сочетание характеристик разного уровня. Система была апробирована на более чем 70.000 картинах, принадлежащих 5 современным стилям живописи. В результате наибольшая точность определения стиля составила 72%, что превосходит наилучшую заявленную, на момент написания работы, точность равную 60%.

This thesis presents a system for automatic style detection of fine-art paintings. The goal was to investigate various approaches to detecting the style. In order to achieve this goal several algorithms were implemented for low-level feature extraction (GIST, PHOG, SIFT, SSIM) and high-level (Classemes, PiCoDes). The most valuable features were identified by analyzing characteristics. To recognize the style, classification algorithms were applied and a neural network was built. Was suggested to use a combination of characteristics of different levels. The system was tested on more than 70,000 paintings belonging to 5 modern styles. As a result, the maximum accuracy was 72%, which exceeds the state-of-the-art accuracy of 60%.