РЕЦЕНЗИЯ на выпускную квалификационную работу обучающегося СПбГУ Свешниковой Светланы Юрьевны (ФИО) по теме Методы повышения производительности Apache Spark на системах с неоднородной памятью Магистерская диссертация Свешниковой С.Ю. посвящена актуальному исследованию, объединяющему два активно развиваемых направлениях, а именно, развитию технологий и инструментариев больших данных (Big Data) и развивающимся архитектурам в области высокопроизводительных вычислений (HPC), обладающих большим потенциалом для использования в области аналитики больших данных. В работе автором рассмотрена возможность увеличения производительности фреймворка Apache Spark, предназначенного для обработки больших объемов данных в оперативной памяти, путем его развертывания на системах с неоднородной памятью, в частности на новейших архитектур от Intel – процессорах Intel Xeon и Intel Xeon Phi второго поколения (KNL) с учетом сложной архитектуры памяти. Автором проведен сравнительный анализ по сравнению технологий, используемых в Big Data и в области высокопроизводительных вычислений, рассмотрены примеры решения задач в связке Big Data и HPC. Свешниковой С.Ю. подробно и исчерпывающе описана работа с NUMA памятью, с различными способами размещения данных, организацией потоков и ряда других вопросов. Несомненным достоинством магистерской диссертации Свешниковой С.Ю. является глубокий теоретический анализ вопросов как работы с неоднородной памятью на HPC платформах для использования Big Data фрейворков, так и тщательно проведенное тестирование различных возможностей по повышению производительности с учетом специфики организации вычислений на HPC платформах. В ходе работы были произведены запуски Apache Spark на двух конфигурациях узлов (с процессорами Intel Xeon и Intel Xeon Phi) для каждого из которых был предложен и обоснован свой вариант оптимизации. Особо хотелось бы отметить практическую значимость магистерской диссертации Свешникой С.Ю., поскольку проведенные в ней исследования позволили выработать ряд рекомендаций пользователям Big Data фреймворков, позволяющих ускорить решение прикладных задач. В заключении следует сказать, что Свешникова С.Ю. выполнила важное, законченное и самостоятельное исследование и, с точки зрения рецензента, успешно справилась с поставленными задачами. Следует отметить систематизацию изложения материала, обоснованность выводов и результатов. Замечаний к оформлению работы согласно требованиям нет. Работа актуальна, и, бесспорно, имеет практическую значимость. Работа полностью соответствует всем требованиям, предъявляемым к магистерским диссертации и заслуживает оценки «ОТЛИЧНО», а Свешникова Светлана Юрьевна – присвоения ей степени магистра. Рекомендую продолжить обучение в аспирантуре. «_03_»___июня___ 2018 г. __________________ Стрельцова О.И._____ Подпись ФИО