Отзыв научного руководителя на выпускную квалификационную работу Назаренко Владимира Владимировича на тему: «Эффективная параллельная реализация нейронной сети», представленную для защиты в 2016 году.

В работе Владимира Владимировича Назаренко решается задача эффективной параллельной реализации на графических процессорах алгоритмов тренировки рекуррентных нейронных сетей. В настоящее время нейронные сети используются в широком спектре прикладных задач анализа и обработки неструктурированных данных, например, рассматриваемые в рамках работы рекуррентные сети получили широкое распространение при решении задач распознавания речи и рукописного текста. В связи с увеличением сложности топологий нейронных сетей, применяемых для решения тех или иных прикладных задач, и с ростом объемов данных, доступных для их тренировки, не теряет актуальности задача эффективной и открытой реализации в том числе уже известных алгоритмов. Поскольку в процессе тренировки и использования нейронной сети интенсивно используются операции над матрицами и векторами, эти алгоритмы могут быть эффективно реализованы на графическом процессоре.

Конкретная задача Владимира Владимировича состояла в том, чтобы провести обзор существующих параллельных реализаций рекуррентных нейронных сетей, и разработать параллельную реализация рекуррентной нейронной сети с учетом проведенного анализа. Основную часть работы составляло расширение открытой библиотеки CURRENNT, реализующей работу с рекуррентными нейронными сетями, новыми возможностями, а именно был реализован простой рекуррентный слой и алгоритм тренировки сети l-BFGS. В рамках работы на примере задачи распознавания речи был также проведен экспериментальный анализ различных конфигурация рекуррентных нейронных сетей и алгоритмов их тренировки по различным критериям: скорость тренировки, качество натренированной модели.

Доля исследовательской составляющей была относительно невелика, работа скорее является инженерной и должна оцениваться с использованием соответствующих критериев. С этой точки зрения необходимо отметить как профессиональное владение необходимыми программными инструментами, так и умение транслировать математические выкладки в алгоритмы. Полученная в результате расширенная версия библиотеки является хорошим стендом для проведения на нем исследований, в частности, для решения различных задач анализа данных, имеющих последовательную природу.

Работа В.В. Назаренко заслуживает оценку «Отлично».


ст. преп. каф. ИАС СПбГУ, А.С. Ярыгина