Lightweight model for automatic image enhancement

Abstract

В настоящее время, функционал для ретуши фотографий интегрируются во все большее число мобильных приложений. Многие современные подходы, основанные на механизмах машинного обучения, улучшают цветовую гамму изображений с помощью тяжеловесных моделей на основе сверточных нейронных сетей, где результат получается непосредственно из выходных данных нейронной сети. Подобные методы могут приводить к появлению артефактов в результирующих изображениях. Более того, архитектура подобных моделей, как правило сложно интерпретируема, требует длительного и трудоемкого процесса обучения, а также занимает много места в памяти устройств и требует много времени при обработке фотографий.

Для решения вышеупомянутых проблем, в рамках данной работы создана облегченная модель автоматического улучшения цветовой гаммы изображений, которая подходит для использования на мобильных устройствах. Кроме того, к в рамках данного исследования, предлагается комплексный сравнительный анализ фильтров для построения наиболее оптимального метода цветокоррекции и проведения сравнительного анализа представленного решения с другими моделями. Таким образом, в рамках данной работы произведено исследование применения подхода к коррекции цветовой гаммы изображений на основе фильтров, решающего описанные выше проблемы. При разработке данного решения был сделан акцент на создании легковесного метода, подходящего для использования на мобильных устройствах. Значительное повышение производительности было достигнуто за счет адаптации и применения регуляризации согласованности, используемой в обучении с частичным привлечением учителя. Предлагаемая модель может быть использована на мобильных устройствах и обеспечивает конкурентоспособные результаты по сравнению с известными подходами.

Photo retouching features are being integrated into a growing number of mobile applications. Current learning-based approaches enhance images using large convolutional neural network-based models, where the result is received directly from the neural network outputs. This method can lead to artifacts in the resulting images, models that are complicated to interpret, and can be computationally expensive.

This work is devoted to explore the application of a filter-based approach in order to overcome the problems outlined above. The presented research is focused on creating a lightweight solution suitable for use on mobile devices when designing our model. A significant performance increase was achieved through implementing consistency regularization used in semi-supervised learning. The proposed model can be used on mobile devices and achieves competitive results compared to known models.