Service for Business Analytics of Textual User Feedback Based on Machine Learning

Abstract

В этой магистерской диссертации был разработан сервис бизнес-аналитики для текстовых отзывов для VK Predict. Сервис состоит из пяти основных модулей: пользовательский интерфейс с использованием чат-бота Telegram, хранение данных, основанное на SQLite3, анализ сентимента на основе нейронной сети BERT, кластеризация текстов с использованием UMAP и HDBSCAN, улучшенная с помощью больших языковых моделей (LLMs), и аналитический модуль для визуализации. Модель анализа сентимента достигла F1-score 0.80 с использованием подхода на основе BERT. Для кластеризации текстов индекс согласованности (ARI) был улучшен с 0.25 до 0.35 по сравнению с базовой моделью. Кроме того, потенциальная ежемесячная прибыль от внедрения оценивается в размере 4.5 миллионов рублей с использованием подписочной модели оплаты. Данное исследование демонстрирует потенциал сочетания современных методов машинного обучения с удобными интерфейсами и продвинутыми языковыми моделями для создания сервиса бизнес-аналитики текстовых отзывов, обеспечивая доступность и интерпретируемость для широкого круга специалистов.

In this master's thesis, a business analytics service for text reviews for VK Predict was developed. The service consists of five main modules: a user interface via a Telegram chatbot, data storage using SQLite3, sentiment analysis with a BERT-based deep neural network, text clustering using UMAP and HDBSCAN enhanced by Large Language Models (LLMs), and an analytics module for visualization. The sentiment analysis model achieved an F1 score of 0.80 with a BERT-based approach. For text clustering, the Adjusted Rand Index (ARI) was improved from 0.25 to 0.35 compared to the baseline using state-of-the-art embedding models such as e5-base. Furthermore, the potential monthly profit was calculated to be up to 4.5 million rubles using a subscription-based approach. This research demonstrates the potential of combining modern machine learning techniques with userfriendly interfaces and advanced language models to create a robust service for business analytics of textual user feedback, ensuring accessibility and interpretability for non-technical users.