ОТЗЫВ
на выпускную квалификационную работу Митрофанова Егора Владимировича
«Оптимизация генеративно-состязательных нейронных сетей»

Появившиеся относительно недавно генеративно-состязательные сети требуют для своей работы большого количества вычислительных ресурсов. Потому тема работы Митрофанова Е.В.  посвященная методам оптимизации таких сетей является достаточно актуальной. 
Цель работы – исследование и реализация таких методов оптимизации сетей, как трансферное обучение и дистилляция знаний применительно к генеративно-состязательным сетям. 
В работе рассматриваются принципы построения современных генративно-состязательных сетей и их компонент, а также достаточно подробно описывается суть исследуемых далее методов оптимизации. Большое внимание уделяется специфической метрике Fid Score, использующейся для оценки качества генеративных сетей. Для проведения экспериментов автор подготовил два датасета – первый с изображениями кошачьих мордочек, а второй с изображениями собачьих мордочек. 
Для исследования метода трансферного обучения были реализованы и обучены с  «нуля» сети генерирующая кошачьи  и собачьи мордочки.  Затем в первой сети были заморожены глубокие слои как в дискриминаторе, так и в генераторе и эта сеть затем была дообучена на втором датасете. Сравнение результатов генераций изображений показало, что сеть, обученная с «нуля» и дообученная сеть показали визуальную близость изображений и близкие значения метрики. При этом объем памяти видеокарты, необходимой для обучения снизился более чем в 2 раза.
Для  исследования метода дистилляции знаний, обученная с «нуля» модель использовалась в качестве «учителя», а в качестве «обучаемого» упрощенный вариант сети «учителя». При этом использовалась функция потерь  с параметром, отвечающим за вклад каждой из сетей в ошибку. При проведении экспериментов исследовалась также зависимость качества сгенерированных изображений от этого параметра.  В результате экспериментов оказалось, что при уменьшении объёма модели почти в 5 раз, метрика качества уменьшается не более чем на 10%, при этом визуально это не слишком заметно.         
  Следует отметить, что Митрофанов Е.В. реализовал соответствующее программное обеспечение на персональном компьютере, не прибегая к облачным ресурсам,  что подтверждает эффективность исследуемых методов оптимизации. Реализация проводилась на языке Python с использованием фреймворка PyTorch.   
В ходе работы автор показал глубокие знания в области машинного обучения, а   также умение их применять на практике и способность самостоятельно решать достаточно сложные задачи в этой области с использованием современных программных средств. 

Считаю, что работа Митрофанова Е.В. заслуживает оценки “Отлично”.

Научный руководитель
доцент кафедры КММС, к.т.н. 					В.М. Гришкин