Automating the processing of non-consolidated disparate data sets in order to perform the marketing analysis of commodity markets

Abstract

Аннотация к дипломной работе на тему "Автоматизация процесса обработки неконсолидированных разнородных массивов данных в целях выполнения задач маркетингового анализа товарных рынков" Выполнил студент экономического факультета СПбГУ, Москвин Дмитрий Объектом исследования выступал индустриальный рынок металлоконструкций и сэндвич-панелей РФ. Предмет - массивы разнородных текстовых данных таможенных транзакций внешнеторгового оборота металлопродукции, а также информация по «Топ 400 производителей металлоконструкции» на территории РФ и республики Беларусь. Целью работы была разработка алгоритма автоматизации обработки, хранения и предоставления изначально слабоструктурированных массивов данных индустриального рынка в целях маркетинговых исследований с использованием таких программных продуктов как MS Excel и Tableau. Для достижения указанной цели были сформированы следующие задачи: 1) Ознакомиться со спецификой новой предметной области на базе исследований, проведенных ИА «ИНФОЛайн-Аналитика», выделить ключевые информационные ресурсы, являющиеся основанием маркетинговых исследований по индустриальному рынку; 2) Подготовить данные к анализу, в том числе разработать макрос в MS Excel, который на основании объекта «регулярное выражение» способен вычленять из текстовых данных искомые числовые значения по площадям сэндвич-панелей и тоннажу металлоконструкций; 3) Разработать аналитический план работы с полученными данными, включающий в себя перечень возможных гипотез, строящихся на основании задействованных переменных, и их разрешения для маркетинговых исследований рынка металлопродукции; 4) Создать приложение в BI-системе Tableau, являющееся демонстрацией результатов маркетингового исследования с автоматически обновляющейся базой для публикации в сети Интернет. Дипломная работа выполнена на 57 страницах, состоит из введения, двух глав основного содержания, заключения с ссылкой на рабочее приложения, списка из 22 источников и приложения с демонстрацией макроса, вычленяющего информацию из текста. Первая глава "Анализ предметной области. Первичная обработка данных" подробно описывает предметную область, кратко описывает логику алгоритма, а также содержит информацию о проработке ключевых сущностей. Вторая глава "Реализация алгоритма автоматизации в Tableau. Создание бизнес-приложения" приводит обоснование выбора BI-системы Tableau как платформы реализации, описывает процесс консолидации данных. Также в ней представлены гипотезы, вытекающие из полученных таблиц, и их решения, описывается процесс создания дашбордов для визуального представления данных В заключении целостно описывается результат работы, выделяются ключевые возможности разработанного приложения, которое позволяет публиковать в сети Интернет необходимый пул данных с заданным шагом обновления, что сравнительно удобно в демонстрации продукта на тематических сайтах и форумах в коммерческих целях. Последняя информация из заключения - ссылка на рабочее приложение.

Annotation Moskvin Dmitry The object of research performed industrial market of metalworks and sandwich panels of the Russian Federation. The subject contains arrays of heterogeneous textual data of customs foreign trade turnover transactions of steel products, as well as information on the "Top 400 manufacturers of metal" in the territory of the Russian Federation and the Republic of Belarus. The aim of the work was to develop an algorithm of automation of processing, storage and providing of poorly structured data arrays of industrial market for market research, using software such as MS Excel and Tableau. To achieve this goal the following tasks were formed: 1. To discover the specifics of the new subject field based on studies conducted by the news agency "Infoline-Analysis", highlight key information resources, which are the basis of market research on the industrial market; 2. To prepare the data for analysis, including the development of the macro in MS Excel, based on the object "regex", which is able to isolate the desired numerical values from the text data; 3. To develop analytical work plan with the given information, including a list of possible hypotheses and their permission for marketing of steel products market research; 4. To create an application in BI-system Tableau, which demonstrates the results of marketing research with automatically updating the database for publishing on the Internet. The diploma work contains 57 pages. The structure is following: introduction, two chapters of main content, the conclusion with reference to a working application, the list of 22 sources and application with demonstration of the macro, isolate information from the text. The first chapter "Analysis of a subject field. The primary data processing" describes in detail the subject area, briefly describes the logic of the algorithm, as well as information about the elaboration of key entities. The second chapter, "The implementation of automated algorithm in the Tableau. Creating a business application", provides a rationale for the choice of Tableau BI-system as the implementation platform, describes the data consolidation process. In addition, it presents the hypothesis arising from the resulting tables, and their solutions, also describes of creation dashboards for visual data representation. In the conclusion describes the result of the work in general, highlighting key opportunities developed application that allows you to publish on the Internet the necessary data pool for a set period updates, which is quite convenient in the product demonstration on thematic sites and forums for commercial purposes. Final information from the conclusion is a reference to a working application.