ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
на тему:
Автоматическое распознавание парафразов 
в русскоязычном корпусе текстов
основная образовательная программа магистратуры по направлению подготовки 45.04.02 «Лингвистика»

Исполнитель: 
Обучающийся 2 курса
Образовательной программы
«Прикладная и экспериментальная лингвистика»
очной формы обучения 
Рощина Наталия Юрьевна

Научный руководитель:
к.ф.н., доц. Митрофанова О.А.

Рецензент:
к.ф.н., доц. Малафеев А.Ю.

Санкт-Петербург
2018

Оглавление
Введение
Глава 1. Парафразы с лингвистической точки зрения
1.1. История понятия
1.2. Понятие парафраза в современных лингвистических теориях
1.3. Обзор существующих классификаций парафразов
1.3.1. Система перефразирования в модели «Смысл < = > Текст»
1.3.2. Классификация Р. Бхагата и Э. Хови
1.3.3. Перефразирование в корпусе ParaPlag
1.4. Классификация парафразов в корпусе новостных заголовков ParaPhraser
1.4.1. Графический уровень
1.4.2. Лексический уровень
1.4.3. Грамматический уровень
Глава 2. Обзор методов автоматического распознавания парафразов
2.1. Лингвистические признаки и метрики
2.1.1. Поверхностные признаки
2.1.1. Признаки, моделирующие глубинную структуру предложения
2.3. Модели векторного пространства
2.2. Этап принятия решения
Глава 3. Эксперимент по распознаванию парафразов
3.3. Подбор пороговых значений
3.4 Анализ ошибок распознавания парафразов
3.4.1. Ошибки первого типа
3.4.2 Ошибки второго типа
Заключение
Список используемой литературы
Приложение 1. Разметка корпуса для построения классификации лингвистических трансформаций
Приложение 2. Скрипт для оценки близости пар заголовков в векторном пространстве
Приложение 3. Нераспознанные парафразы
Приложение 4. Не-парафразы, классифицированные как парафразы

Введение
Автоматическое распознавание парафразов можно отнести к числу базовых задач компьютерной лингвистики. Эта процедура является важным этапом работы многих систем обработки естественного языка, и от качества распознавания напрямую зависит эффективность системы в целом.
Модули автоматического распознавания парафразов имеют широкое практическое применение, они используются при решении задач машинного перевода и при оценке его качества, в ходе автоматического реферирования, построения диалоговых систем, для нужд информационного поиска, выявления плагиата, кластеризации и категоризации текстов, а также при подборе текстов для сопоставимых многоязычных корпусов.
Актуальность проблемы идентификации парафразов подтверждается неутихающим интересом исследователей. В архиве Ассоциации компьютерных лингвистов (ACL Anthology) по запросу “paraphrase identification” находится 1510 статей и ещё 1310 статей находится по запросу “paraphrase detection”. 
Кроме того, регулярно проводятся семинары по оценке семантической близости текстов и распознаванию парафразов. Например, связанные с перефразированием задачи ставились в рамках семинаров SemEval в 2012, 2013, 2015 и 2016 годах. А 2016 году в рамках конференции AINL была проведена дорожка по распознаванию парафразов на материале русского языка (Pivovarova, Pronoza, Yagunova 2016).
Однако несмотря на большое количество исследований, в области распознавания парафразов по-прежнему остаются нерешённые вопросы. Теоретическая значимость нашего проекта заключается в произведении экспериментальной проверки методов определения содержательной близости текстов на основе их формальной близости и в поиске оптимальных экспериментальных условий и методов, которые лучше всего подходят для оценки семантической близости русскоязычных текстов. 
Основная цель данного исследования – оценить эффективность методов дистрибутивной семантики при распознавании парафразов в коротких русскоязычных текстах. 
Для достижения поставленной цели были решены следующие задачи:
•	описать явление парафразов с лингвистических позиций;
•	построить классификацию лингвистических трансформаций, приводящих к образованию парафразов;
•	изучить существующие подходы к извлечению парафразов;
•	оценить семантическую близость парафразов и не-парафразов, используя векторные представления (embeddings) предложений, генерируемые с помощью нейросетевых моделей Word2Vec;
•	явным образом описать все этапы работы с парафразами средствами Word2Vec;
•	подобрать оптимальные для распознавания парафразов пороговые значения;
•	вычислить погрешность, описать и проанализировать допущенные ошибки.
Объектом исследования являются парафразы, определяемые как языковые выражения, различающиеся по своей форме, но эквивалентные по содержанию.
Предмет исследования составляет эффективность методов дистрибутивной семантики при распознавании парафразов.
Методологическая база исследования включает в себя следующие компоненты:
•	теоретические подходы к исследованию парафразов, характеристика методов оценки их близости и их автоматического извлечения;
•	классификация парафразов по типам лингвистических трансформаций;
•	методы дистрибутивной семантики: Word2Vec (CBOW и Skip-Gram).
Текстовым материалом для проведения экспериментов послужил корпус пар новостных заголовков, полученный из золотого стандарта для упомянутой ранее дорожки по распознаванию парафразов (Pivovarova, Pronoza, Yagunova 2016). В его состав вошли 374 пары точных парафразов и 772 пары не-парафразов. Разметка пар заголовков проводилась вручную. Исходный корпус находится в свободном доступе и размещен на сайте проекта ParaPhraser.
Новизна исследования связана с тем, что нам удалось подтвердить целесообразность использования векторных представлений (embeddings) парафразов, генерируемых с помощью нейросетевых моделей Word2Vec. В диссертации явным образом представлены все этапы работы с парафразами средствами Word2Vec, производится количественная оценка результатов и анализ ошибок.
Апробация исследования была проведена в рамках научно-исследовательского проекта № 16-06-00529 «Разработка лингвистического комплекса для автоматического семантического анализа русскоязычных корпусов текстов с применением статистических методов», поддержанного РФФИ (рук. О.А. Митрофанова, 2016–2018 гг.). 
Основное содержание данного исследования изложено в докладе на ежегодной конференции «Интернет и современное общество» (Internet and Modern Society – IMS), по материалам проекта опубликована статья (Kriukova, Sukharev, Mitrofanova, Roschina 2018).

Глава 1. Парафразы с лингвистической точки зрения
1.1. История понятия
Ключевое для данной работы понятие «парафраз» (или «парафраза») возникло в русле античной риторики. С течением времени его значение естественным образом трансформировалось, и понятие приобретало новые интерпретации.
Некоторое расхождение трактовок можно наблюдать уже на уровне перевода исходного древнегреческого термина παράφρασις. Самым удачным переводом, вероятно, является слово «пересказ», так как приставка παρά имеет значение смежности, переделывания, «около, возле, рядом с», а слово φράσις можно перевести как «способ выражения» (Дворецкий 1958). Однако некоторые словари указывают перевод «описательный оборот, описание» (Комлев 2006).
Неоднозначность термина отчасти можно объяснить тем, что он изначально имел непосредственное отношение к сфере интерпретации, подражания и обнаружения вторичных трактовок. Парафразами называли переводы греческих ораторов, прозаическое изложение поэтических текстов или же переформулирование собственных текстов (Теучеж 2008а).
В любом случае парафраз отождествлялся с изменением при наличии некоторой неизменной смысловой зоны. Со временем данный термин приобрел статус универсального обозначения разного рода преобразований, что вывело его далеко за пределы лингвистики и литературоведения. Так, в одном из своих значений парафраз является музыкальным термином и обозначает музыкальную фантазию, обычно виртуозного характера, на тему, заимствованную из другого музыкального произведения (Большой словарь иностранных слов 2007). Психологи и психотерапевты также довольно активно используют парафразы в качестве инструмента для установления контакта с собеседником (Осипова, Улитова 2016).
Возвращаясь к истории развития значения термина парафраз, стоит отметить, что долгое время он рассматривался как обозначение приёма перевода, толкования и комментирования текстов (особенно библейских), к 18−19 векам это понятие во многих литературоведческих работах приобрело устойчивую негативную окраску и стало обозначать плохой перевод, приводящий к расширению текста, нечёткое и неточное высказывание, повтор, которого следует избегать в речи или же излишне многословное переложение текста (Теучеж 2008б).
В 20 веке понятие парафраза получило несколько новых интерпретаций. В частности, оно активно используется в области литературоведения, где обозначает «выражение, представляющее собой описательную, распространенную передачу смысла другого выражения, например, “пишущий эти строки” вместо “я” в речи автора» (Большой словарь иностранных слов 2007). Именно при таком толковании исследователи и составители словарей нередко допускают контаминацию терминов «парафраз» и «перифраза» или даже постулируют их идентичность (Ушаков 2007; Ожегов 2001; Ахманова 2004). В то же время актуальным остается толкование, где парафраз обозначает передачу «другими словами или в другой форме содержания чего-либо» (МАС), в том числе и сокращенное изложение (или адаптации) больших художественных произведений (Квятковский 1966). Также с литературоведческих позиций парафраз может определяться как вторичное высказывание, воспроизводящее смысл предшествующего высказывания в соответствии с коммуникативной установкой на пояснение, уточнение и акцентирование информации в целом или ее отдельных смысловых компонентов (Теучеж 2008б).
1.2. Понятие парафраза в современных лингвистических теориях
Далее мы рассмотрим подходы к определению парафраза с лингвистической точки зрения, где на первый план выводятся её структурно-семантические характеристики.
Одним из таких подходов является построение порождающих (генеративных) моделей, в основе которых лежит понятие лингвистической трансформации. Например, генеративная грамматика Н. Хомского состоит из базового синтаксического компонента (где задается конечное множество правильно построенных глубинных структур), семантического компонента (где устанавливается соответствие между глубинной структурой и ее семантическим представлением) и трансформационного компонента. Последний компонент относится к области синтаксической семантики и отвечает за установления соответствия между глубинной структурой и её поверхностно-синтаксическими представлениями. Специально для трансформационного компонента Н. Хомский разработал процедуры перехода (присоединение, перестановка, элиминация), а также 26 правил трансформации лексического наполнения предложения (пассивизация, субституция, пермутация, негация, адъюнкция, эллипс и др.), которые обеспечивают преобразование глубинных синтаксических структур в поверхностные (Хомский 1972).
Параллельно с Хомским проблемой построения предложения на основе глубинных структур занимались И.А. Мельчук, А.К. Жолковский и Ю.Д. Апресян. Исследовательская группа развивала предложенную И.А. Мельчуком функциональную модель «Смысл <=> Текст» (Мельчук 1999). Эта модель призвана описать процедуры перехода от смыслов к текстам и обратно, закодированные в мозгу носителей языка. И.А. Мельчук постулирует многоуровневую модель языка, состоящую из семантического, глубинно-синтаксического, поверхностно-синтаксического, глубинно-морфологического, поверхностно-морфологического и фонологического уровней. Построение текста на основе заданного смысла происходит поэтапно, через последовательные переходы от одного уровня представления к другому.
Согласно модели «Смысл <=> Текст», семантическому представлению некоторого смысла (идеи) соответствует множество глубинных синтаксических структур (ГСС). ГСС преобразуют семантический граф в деревья зависимостей, в узлах которых располагаются уже не семы, а знаменательные лексические единицы, и служат переходным состоянием между семантическим представлением и поверхностной синтаксической структурой высказывания. Именно на уровне ГСС работает система перефразирования, выполняя ЛФ-синонимические преобразования деревьев. Под ЛФ-синонимическими преобразованиями понимается подмножество синонимических преобразований, при которых не происходит перераспределение элементов семантического представления между узлами ГСС. Такие преобразования сводятся к синонимическим заменам узлов дерева (то есть лексем) или его ветвей (то есть синтаксических связей). Хотя на практике чаще всего одновременно происходят замены обоих типов.
В рамках настоящей работы мы будем придерживаться семантико-трансформационного подхода и называть парафразами языковые выражения (предложения), различающиеся по своей форме, но эквивалентные по содержанию. 
Прежде чем перейти к описанию механизмов перефразирования, стоит упомянуть существующую проблему определения степени эквивалентности. Самая строгая интерпретация предъявляет к парафразам требование о передаче абсолютно идентичного значения. Тем не менее, в виду того, что абсолютная синонимия встречается достаточно редко, в большинстве случаев исследователи рассматривают приблизительную эквивалентность значений. Более того, существует мнение, что языковые выражения априори не могут иметь идентичные значения, так как они в любом случае будут различаться оттенками прагматического значения (Bhagat, Hovy 2013).
Разметка корпуса пар новостных заголовков Paraphraser, который служит языковым материалом для нашего исследования, также предполагает разделение парафразов на полные и частичные. Организаторы проекта предлагают называть полными парафразами заголовки, в которых речь идёт об одном и том же событии. Кроме того, в них отсутствуют расхождения в деталях (время, место, количество участников и т.п.), которые являются маркерами неполных парафразов. Однако в целях обеспечения чистоты эксперимента аннотаторы – носители языка, которые, как правило, не имеют специального лингвистического образования – не получают никаких инструкций, кроме предложения оценить 2 заголовка в интуитивно понятных терминах «одинаковые», «похожие» или «разные».
1.3. Обзор существующих классификаций парафразов
Как отмечают некоторые исследователи, информация о классах парафразов может помочь повысить качество их распознавания. Однако она практически не используется в существующих компьютерных инструментах из-за отсутствия общепринятой системы классификации и, как следствие, недостатка аннотированных данных. Именно поэтому так важно изучение лингвистической стороны парафразов (Magnolini 2014). 
В данном разделе работы будет представлено несколько вариантов классификации трансформаций, порождающих парафразы. В частности, будет описана система перефразирования в модели «Смысл <=> Тест» (Мельчук 1999; Апресян, Цинман 2002), классификация, построенная в статье (Bhagat, Hovy 2013) и классификация, используемая для создания корпуса ParaPlag (Sochenkov, Zubarev, Smirnov 2017).
1.3.1. Система перефразирования в модели «Смысл < = > Текст»
Как было отмечено ранее, система перефразирования в модели «Смысл <=> Текст» подразумевает выполнение синонимических преобразований ГСС. Правила таких преобразований авторы модели делят на две группы: лексические и синтаксические. 
«Лексические правила описывают эквивалентность одного и того же смысла с точностью до синтаксиса» (Мельчук 1999, с. 149). Здесь идет речь о том, что в некоторых случаях для полноценной замены одного набора знаменательных лексем другим набором необходима перестройка синтаксической структуры предложения. Синонимия наборов знаменательных лексем в свою очередь достигается путем замены некоторого слова (или словосочетания) его лексическим коррелятом или же заменой одного лексического коррелята некоторого слова другим. Под термином «лексический коррелят» имеется в виду значение лексической функции. Среди лексических преобразований И.А. Мельчук выделяет смысловые эквивалентности и смысловые импликации. (Мельчук, с. 152).
Смысловые эквивалентности таковы:
•	синонимические замещения (Эту особенность зубных легко объяснить – Эту особенность дентальных нетрудно объяснить);
•	конверсивные замещения (Множество содержит также элемент х – Множеству принадлежит также элемент х; Он обучает их языку – Они изучают с ним язык);
•	деривативные замещения (Он поспешил выйти – Он поспешно вышел);
•	замещения сказуемого с расщеплением, часто в сочетании с различными ЛФ (Он учительствует в Рязани – Он работает учителем в Рязани; Он дрожит – Его пробивает дрожь; Он думает – Он шевелит мозгами);
•	взаимозамещение лексических коррелятов (Здесь инициативу проявил он – Здесь инициатива исходила от него; Он последовал моему совету заплатить этот долг – По моему совету он заплатил этот долг).
Примеры смысловых импликаций: Петр запустил мотор – Мотор заработал; Его ввели – Он вошел; Ему позволили умыться – Он умылся; На море продолжается шторм – На море бушует шторм.
«Синтаксические правила задают эквивалентность различных формулировок одного и того же смысла с точностью до лексики» (Мельчук, с. 161). То есть несколько глубинных конструкций могут передавать одинаковый смысл, но при этом могут потребоваться некоторые лексические замещения. 
Синтаксические правила таковы:
•	«адъюнктивные» операции – превращение вершины в адъюнкт (Рост цен сопровождает кризис – Цены растут вместе с кризисом; Он начал свою речь с приветствия космонавтам – В начале своей речи он приветствовал космонавтов);
•	операции с расщеплением/склеиванием узлов (Мы считаем ее честной девушкой – Мы считаем, что она честная девушка; Он тщательно анализирует текст – Он тщательно подвергает текст анализу);
•	операции со «сменой этажей» – переход от соподчинения к последовательному подчинению (К нам поступило от него заявление – к нам поступило его заявление; своевременно оказал помощь – оказал своевременную помощь);
•	конверсивные операции – взаимные «перестановки» соподчиненных узлов (Иванов выиграл партию у Джонса – Джонс проиграл партию Иванову; Бельгия тревожится – в Бельгии тревожатся).
Описывая перечисленные выше правила преобразований, И.А. Мельчук замечает, что эти списки не являются полными и исчерпывающими. Поэтому в дальнейшем они потребуют корректировки и дополнения.
Один из вариантов такой корректировки представлен в работе Ю.Д, Апресяна и Л.Л, Цинмана (Апресян, Цинман 2002), которые в процессе компьютерной реализации многофункционального лингвистического процессора ЭТАП-3 пересмотрели классическую схему перефразирования в целом, в том числе и набор правил перефразирования. 
Согласно общей идеологии лингвистического процессора ЭТАП-3, правила перефразирования (в терминологии Ю.Д. Апресяна, «правила перифразирования») можно разделить на общие, трафаретные и словарные.
Общие правила применяются к любой содержащейся в предложении лексеме, если она удовлетворяет условиям, предъявляемым к входной части правила. При этом если в производной от этой лексемы словарной статье нет нужных для применения этого правила ЛФ, соответствующие перифразы не будут порождены, но правила останутся общими.
Трафаретные правила применяются только тогда, когда заранее известно, что данная лексема допускает нужное преобразование. То есть для применения правила недостаточно только наличия подходящего лексического материала в словарных статьях. Полученная по правилу гипотетическая перифраза обязательно должна восприниматься как естественный синоним исходной лексемы. Ссылка на трафаретные правила вписывается в словарные статьи только тех лексем, которые реально могут быть по нему преобразованы.
Словарные же правила преобразования привязываются к конкретным лексемам и вписываются непосредственно в словарные статьи соответствующих лексем.
С точки зрения степени эквивалентности левой и правой частей правила перефразирования можно разделить на точные (двусторонние) и неточные (односторонние).
Дорабатывая классификацию правил перефразирования с точки зрения используемых ЛФ, авторы статьи перегруппировали уже существующие правила по трем группам: субституты, дериваты и коллокаты – а также добавили в каждую из них новые подгруппы. Далее приведены примеры парафразов, которые покрываются новыми правилами.
Перифразы на основе субститутов: желтое платье – платье желтого цвета; Он никогда не забывает о ее дне рождения – Он всегда помнит о ее дне рождения; Он разрешал <не запрещал> аспирантам зарабатывать частными уроками; Мешок оказался больше по объему, чем ящик – Ящик оказался меньше по объему, чем мешок; Суп был горячее <более горячий> чем чай – Чай был менее горячий, чем <не такой горячий, как> суп.
Перифразы на основе дериватов: Родители радовались, глядя на ребенка – Родители радостно глядели на ребенка.
Перифразы на основе коллокатов:
•	На основе ЛФ семейства OPER –FUNC: Исследователи получили доступ к самым секретным архивам – Исследователям стали доступны самые секретные архивы; Исследователи потеряли доступ к секретным архивам – Исследователям перестали быть доступны секретные архивы – Исследователям стали недоступны секретные архивы; Иван подружился <познакомился> с соседкой – Иван завязал <свел> дружбу <знакомство> с соседкой; Он проснулся – Он пробудился от сна – Его покинул сон; Он обучил меня физике – Он дал мне знание физики; Внезапный звонок разбудил его – Внезапный звонок прервал его сон; В комнате зажгли свет – В комнате зажегся свет; Его лишили звания генерала – Он потерял звание генерала; В нашем городе открыли новый цирк – В нашем городе открылся новый цирк; Вчера цирк закрыли – Вчера цирк закрылся.
•	Новая группа перифраз на основе ЛФ семейства REAL-M, FACT-M: Его отправили в отпуск – Он отправился в отпуск; План провалили – План провалился; Гипотеза пульсирующей Вселенной была опровергнута <не подтвердилась>; законы ограничат власть тайных служб, были обмануты <не оправдались>; Чемпион мира упустил преимущество – Чемпион мира не использовал преимущество; Депутат, обманувший <не оправдавший> доверие избирателей, должен быть отозван; Председатель суда отверг / отклонил <не принял> крупную денежную взятку.
1.3.2. Классификация Р. Бхагата и Э. Хови
Основываясь на изученной литературе и опыте работы с примерами парафразов из разных корпусов, Р. Бхагат и Э. Хови выделили 25 классов лексических замен, участвующих в построении квази-парафразов (неточных парафразов) (Bhagat, Hovy 2013):
•	синонимическая замена;
•	антонимическая замена (в сочетании с введением отрицания);
•	конверсивная замена;
•	смена залога;
•	смена лица 
•	анафорическая замена, использование корефрентов; 
•	повтор или эллипсис;
•	использование вариантов функциональных слов (в качестве примеров авторы приводят вариативность употребления предлогов и артиклей);
•	замена названия действия словом, обозначающим его исполнителя;
•	замена глагола существительным, соответствующим одной из семантических ролей при данном действии (агенс, пациенс, инструмент...);
•	замена инструмента на обозначения лица, которое его использует;
•	замена слова/фразы с обобщенной семантикой словом/фразой с более конкретной семантикой;
•	метафорическая замена;
•	замена целого обозначением его части;
•	субстантивация глагола или, наоборот, образование глагола от существительного;
•	образование глагола от прилагательного и наоборот;
•	образование глагола от наречия и наоборот;
•	образование существительного от прилагательного и наоборот;
•	замена сочетания глагола с предлогом именем существительным со значением места, в котором происходит действие; 
•	смена вида глагола (aspect);
•	смена модальности;
•	семантическая импликация;
•	приблизительные числовые эквиваленты (число/приблизительное число + единица измерения);
•	замена слов/фраз, основанная на нелингвистической информации.
Стоит отметить, что каждая из упомянутых замен может сопровождаться добавлением или исключением требуемых контекстом функциональных слов или изменением структуры предложения.
1.3.3. Перефразирование в корпусе ParaPlag
Немного под другим углом зрения техники перефразирования рассматриваются составителями корпуса ParaPlag. В 2016–2017 гг. этот корпус использовался в качестве датасета на семинаре PlagEvalRus (ParaPlagEvalRus-2017), целью которого был поиск решения задачи выявления заимствований. 
Корпус состоит из двух частей: Paraplag (5.7 млн. текстов) и Paraplag Lite (11,5 тыс. текстов).
В первую часть входят академические тексты с большим количеством дословных заимствований, текстов, автоматически сгенерированных из случайных источников текстов (в них также проводилось автоматическое модифицирование заимствований).
Paraplag Lite составляют вручную написанные эссе с заимствованиями из разных источников. Часть этих эссе допускает использование дословных заимствований и предполагает наличие легко или средне модифицированных фрагментов. Другая часть эссе состоит исключительно из модифицированных заимствований.
При написании эссе участники должны строго следовать предоставленным инструкциям. В частности, инструкция содержит список техник перефразирования, которые необходимо использовать (Sochenkov, Zubarev, Smirnov 2017):
•	DEL — удаление некоторых слов из исходного предложения;
•	добавление слов в исходное предложение;
•	LPR (Light Paraphrase): в эссе первого типа легкое перефразирование подразумевает синонимические замены слов/фраз, перестановку клауз и добавление новых слов, в эссе второго типа – изменение формы слов (число, падеж, время, лицо…);
•	SHF (shuffling) — изменение порядка слов или клауз в исходном предложении; 
•	CCT (concatenation) — конкатенация двух или более исходных предложений;
•	SEP or SSP (sentence splitting/separation) — разбиение исходного предложения на несколько предложений; 
•	SYN (synonymizing) — синонимические замены слов/фраз исходного предложения, расшифровка аббревиатур и, наоборот, использование аббревиатур вместо полных названий, замена полных имен инициалами и т.д.;
•	HPR (Heavy Paraphrase) — комплексная модификация исходного предложения, сочетающая в себе три и более техники перефразирования; комплексное перефразирование подразумевает значительное изменение исходного предложения, например, с помощью идиом и перестановок слов вплоть до полной перестройки синтаксической структуры предложения;
•	CPY — полное заимствование исходного предложения практически без изменений.
1.4. Классификация парафразов в корпусе новостных заголовков ParaPhraser
В данном разделе мы пытаемся восполнить недостаток описания методов перефразирования, представленных в корпусе ParaPhraser.
Итак, рассматриваемый подкорпус (пары, размеченные аннотаторами как точные парафразы) состоит из 374 пар новостных заголовков. Однако, среди них встретились две продублированные пары, поэтому фактически было проанализировано 372 пары заголовков. Для каждой пары указывались трансформации, необходимые для превращения одного заголовка в другой. Количество таких трансформаций находится в отрезке от 1 до 7. В среднем на каждую пару заголовков приходится около трёх трансформаций. Распределение полученных значений представлено в Таблице 1.
Таблица 1. Количество трансформаций в рамках одной пары предложений
Количество трансформаций	Количество пар заголовков	Процент от общего числа пар заголовков	
1	60	16%	
2	85	23%	
3	101	27%	
4	73	20%	
5	38	10%	
6	14	34%	
7	1	0,03%	

Размеченный с подкорпус парафразов представлен в Приложении 1. Проследить трансформации, приводящие к образованию парафразов, можно на разных уровнях языка. 
1.4.1. Графический уровень
В некоторых случаях трансформации начинаются уже на графическом уровне. Их можно разделить на следующие группы: кавычки, пробел, регистр, алфавит, числа, сокращения и порядок слов.
Кавычки. В корпусе замечено 27 пар заголовков, где используются разные начертания кавычек: “лапки” или «ёлочки». В 14 парах различается оформление именованных сущностей. Например, в паре №93 название скульптуры Джакометти «Указующий человек» в одном случае указано в кавычках, а в другом – без них.
Пробел. В паре №142 представлены разные написания аббревиатуры: ГУМВД и ГУ МВД. Кроме того, в паре №291 первому заголовку предшествует неразрывный пробел.
Регистр. В 10 парах отмечена разница регистра после двоеточия. Например, в паре №352: Лавров: арестованные на Украине россияне чувствуют себя хорошо − МИД РФ: Задержанные на Украине россияне чувствуют себя хорошо. В трёх парах заголовков наблюдается смена регистра при написании названий (например, Вооруженных сил − вооруженных сил, пара №167) и имен (с … Жискар Д'Эстеном − с.. Жискар д`Эстеном, пара №334).
Алфавит. Трижды в анализируемом подкорпусе встретилась замена кириллицы латиницей: ФИФА − FIFA (пара 306).
Числа. Также на графическом уровне можно отметить написание чисел. В 10 парах один заголовок предлагает написание числа цифрами, а второй – прописью: Четыре человека − 4 человека (пара №20). Ещё в двух парах различается формат написания числа: целое или десятичная дробь. Например, 7,0 и 7 в паре №96.
Сокращения. 8 раз в рассматриваемых парах встречаются сокращения единиц измерения. Например, 60 миллиардов и 60 млрд в паре №281.
Порядок слов. Самым распространённым преобразованием в этой категории оказалась частичная или полная инверсия порядка слов (24 вхождения). Пара №268 является примером полной инверсии: В соцсети "ВКонтакте" появилась страница патриарха Кирилла − Официальная страница патриарха Кирилла появилась "ВКонтакте". Частичную инверсию иллюстрирует пара №63: СМИ: несколько человек погибли при стрельбе в Швейцарии − В результате стрельбы в Швейцарии погибли несколько человек. В ней, как и в большинстве подобных предложений, обстоятельство места остается в постпозиции по отношению ко второму косвенному члену предложения. 
Кроме инверсий, на общем фоне выделяются несколько видов перестановок:
•	перестановка косвенного и прямого дополнений (6 вхождений), например, пара №81: Источник: глава ЕК предлагает ввести для стран ЕС квоты на иммигрантов − Глава Еврокомиссии предложил ввести квоты на иммигрантов для стран ЕС; 
•	перестановка сказуемого и обстоятельства времени (4 вхождения), например, пара №113: Белый дом: США и Куба проведут новый раунд переговоров в конце мая − США и Куба до конца мая проведут новый раунд переговоров;
•	перестановка однородных членов предложения (4 вхождения), например, пара №152: Новый мост между США и Канадой получит имя легенды НХЛ Горди Хоу − Новый мост между Канадой и США назовут в честь хоккеиста Горди Хоу;
•	перенос обстоятельства (как правило, обстоятельства места) с абсолютного начала предложения в его конец (8 вхождений), например, в паре №20: Четыре человека погибли при крушении легкомоторного самолета в США − В США 4 человека погибли при крушении легкомоторного самолета, и т.д.
Стоит отметить, что в проанализированном подкорпусе встретилось 8 пар, в которых заголовки различаются только на графическом уровне. В паре №3 наблюдается разница в написании числа и сокращение единицы измерения: Суд оправдал Васильеву в хищении акций на два миллиарда рублей − Суд оправдал Васильеву в хищении акций на 2 млрд рублей. В остальных семи случаях заголовки в парах отличаются друг от друга только порядком слов.
1.4.2. Лексический уровень
На лексическом уровне можно выделить такие группы трансформаций, как синонимия, метонимия, и гиперо-гипонимия. Также к этому уровню можно отнести конверсивы и аббревиатуры. 
Синонимия. Синонимические замены составляют заметную часть трансформаций, приводящих к образованию парафразов. В 12 парах исследуемого подкорпуса замена одного из слов синонимом была единственным отличием между заголовками. Одной из таких пар является пара №183: Роспотребнадзор выступил против снятия ограничений рекламы алкоголя − Роспотребнадзор высказался против снятия ограничений рекламы алкоголя. Всего было отмечено 226 синонимических замены, включая более редкие случаи использования контекстных синонимов. 
Метонимия. Наиболее частыми случаями метонимии оказались переносы по смежности профессии и места работы (прокуратура − прокуроры, пара №319), а также связка страна-орган власти (Россия − МИД России, пара №366). Всего в подкорпусе насчитывается 37 случаев метонимического переноса значения. В двух случаях метонимия является единственной трансформацией.
Гиперо-гипонимия. Среди представленных в анализируемом подкорпусе трансформаций встретилось 4 случая замены слова его гиперонимом. Например, в паре №228 земли, дом, машина заменены понятием имущество.
Конверсивы. Отдельную группу образуют конверсивы – слова (как правило, глаголы), показывающие одно событие с разных сторон. Зачастую они образуются с помощью смены залога с действительного на страдательный. Например, пилота в Амстердаме оштрафовали − в Амстердаме оштрафован пилот (пара №71). Всего в подкорпусе отмечена 41 пара заголовков, содержащих конверсивы. 
Аббревиатура. Ещё 22 заголовка преобразованы за счёт использования аббревиатур или сложносокращенных слов. Например, глава ЕК − глава Еврокомиссии (пара №81), патент на социальную сеть − патент на собственную соцсеть (пара №16). В трёх случаях использование аббревиатуры было единственным преобразованием заголовка.
1.4.3. Грамматический уровень
На грамматическом уровне можно выделить как довольно простые изменения грамматических характеристик слова (см. Таблицу 2), так и сложно организованные трансформации, связанные с частеречными переходами и сменами синтаксических ролей.
Таблица 2. Трансформации на уровне грамматических категорий
Грамматич. характеристика	Примеры	Количество вхождений	
Время	мероприятия проходят – мероприятия прошли (пара №36)
«обсудит идею» - «вернулся к идее» (пара №108)
«готов вернуться» - «вернется» (пара №115)	40	
Число	жертвами землетрясений – в результате землетрясения (пара №98)	6	
Вид	требует – потребовал (пара №200)	4	
Часть речи	запретил продавать – назвали нелегитимной продажу (пара №311)	4	
Лицо	Рогозин рассчитывает – Рогозин: Надеюсь (пара №53)	2	
Наклонение	были бы деструктивны – назвал деструктивными (пара №112)	1	

Весьма популярным преобразованием на уровне синтаксиса оказалась смена модели управления глагола (55 вхождений) или существительного (18 вхождений). В качестве примера можно привести пару №90: Грецию пригласили – Греции предложили.
Фактически к этой же группе можно отнести преобразование согласованного определения в несогласованное (всего 29 вхождений). Особенно часто такое происходит при обозначении географической принадлежности лиц или предметов. Например, в московских аэропортах – в аэропортах Москвы (пара №358). В четырех парах заголовков из рассматриваемого подкорпуса подобного преобразования оказалось достаточно для создания парафраза.
Далее необходимо отметить такую трансформацию, как смена синтаксической роли, которая, в основном, происходит на фоне использования конверсивов или изменения частеречной принадлежности слова. Наиболее частотные замены подобного рода представлены в Таблице 3.
Таблица 3. Смена синтаксической роли
Тип замены
(чаще всего встречается обстоят. места)	Пример	Количество вхождений	
Определение – обстоятельство	в китайском доме престарелых – в доме престарелых в Китае (пара №38)	17	
Дополнение – обстоятельство	Непалу угрожает холера – об угрозе холеры … в Непале (пара №59)	13	
Подлежащее – обстоятельство	отправить в колонию – грозит колония (пара №140).	15	

Некоторые синтаксические трансформации носят комплексный характер и перестраивают всю структуру предложения. Самыми частотными среди них оказались следующие:
•	полное − неопределенно-личное предложение (26 вхождений): для этого изменялась грамматическая форма глагола, а подлежащее либо исключалось, либо превращалось в дополнение или обстоятельство, например, Мэр Неаполя, где мужчина убил четырех человек, объявил траур − В Неаполе объявлен траур по жертвам стрельбы (пара №169);
•	простое – бессоюзное сложное предложение (17 вхождений: для этого источник информации выносился за двоеточие, при этом в некоторых случаях подлежащее превращалось в дополнение или обстоятельство, а также сказуемое превращалось в косвенное дополнение, например, Нарышкин: вопрос южных Курил может препятствовать отношениям с Японией − Нарышкин назвал вопрос Курил раздражителем в отношениях России и Японии (пара №217);
•	полное − безличное предложение (3 вхождения), для этого изменялась грамматическая форма глагола, а подлежащее превращалось в дополнение или определение, например, Пушков: у Обамы не хватило духа лично поздравить наш народ с Победой − Пушков: Обама не нашел в себе духа лично поздравить россиян с Победой (пара №4).
1.4.4. Семантический уровень
На семантическом уровне наблюдаются трансформации, которые чаще всего невозможны без обращения к внеязыковой действительности. К такого рода преобразованиям можно отнести корефернцию, уточнения времени и локализации события, расщепленные значения, сочетания имени и фамилии, класса и наименования конкретного предмета, а также довольно большую группу разных членов предложения, вводящих в него дополнительную информацию.
Кореференция. Кореференция подразумевает, что 2 номинативные группы указывают на один и тот же объект внеязыковой действительности. Например, наш народ − россиян (пара №4) или на следующей неделе − c 15 мая (пара №40). Всего в анализируемом подкорпусе встретилось 18 пар кореферентов. В 2 случаях они оказались единственными трансформациями внутри пар заголовков.В каком-то смысле к кореферентам можно отнести и языковые выражения, которые уточняют или сужают значение выражений, указывающих на время или место. Например, 9 мая − в ночь на 10 мая (пара №13) или на севере Индонезии − в Индонезии (пара №94). Всего в подкорпусе обнаружено 25 таких трансформаций.
Расщепленные значения. К этой группе в первую очередь относятся расщепленные сказуемые (27 вхождений). Например, надеется − выразил надежду (пара №29). Сюда же можно отнести случаи выражения значения существительных при помощи словосочетаний и тесно граничащие с ними примеры эллипсиса (38 вхождений). Например, не обсуждали вопрос о военных базах − не говорили о базах (пара №9) или к пяти годам общего режима − к пяти годам колонии общего режима (пара №11). Также кажется целесообразным выделить микрогруппы сочетаний имя + фамилия (23 вхождения), класс + название (10 вхождений) и эллиписа единицы (2 вхождения) или единицы измерения (4 вхождения). Например, генерал-майор Денисов − генерал-майор Илья Денисов (пара №14), Гендиректор ФК "Спартак" − Гендиректор "Спартака" (пара №91), два миллиона - два миллиона рублей (пара №351) или за день − за один день (пара №165). В 11 из рассмотренных пар заголовков расщепление значения оказалось единственной совершенной трансформацией.
Дополнительная информация. В 224 заголовках вводится какая-либо дополнительная информация. Основная часть такой информации приходится на определения (60 вхождений), указание источника информации (56 вхождений), обстоятельства (55 вхождений), приложения (15 вхождений), однородные члены предложения (10 вхождений) и имена людей (6 вхождений). Причём в 13 парах введение дополнительной информации оказалось единственным преобразованием заголовка. Например, Президент Франции Франсуа Олланд прибыл с официальным визитом на Кубу − Президент Франции прибыл с официальным визитом на Кубу (пара №79).

Глава 2. Обзор методов автоматического распознавания парафразов
Анализ литературы показывает, что к задаче распознавания парафразов можно подходить с разных сторон. Например, парафразы можно рассматривать как случай двойной импликации и адаптировать для их распознавания системы текстовой импликации (Magnolini 2014). В (Zhao, Wang 2010) существующие методы распознавания парафразов разделены на методы выравнивания (например, с помощью инверсивно-трансдукционной грамматики (ITG) или грамматики квази-синхронных зависимостей и на методы классификации.    
Методы классификации (в основном бинарной) являются наиболее распространенными. Такое положение вещей можно объяснить несколькими причинами. Во-первых, проблема бинарной классификации чётко определена, для её решения существуют готовые и доступные для использования классифицирующие алгоритмы и инструменты. Во-вторых, такой подход позволяет достаточно просто комбинировать различные признаки предложений. В-третьих, именно методы классификации, как правило, показывают лучшие результаты при распознавании парафразов. 
К настоящему моменту предложено большое количество классифицирующих методов идентификации парафразов. Однако несмотря на все разнообразие подходов, эти методы работают по единой схеме:
•	предобработка и построение некоторых формализованных моделей предложений на основе их лингвистических признаков;
•	применение различных метрик для измерения степени близости этих моделей;
•	принятие решения относительно того, являются ли рассматриваемые предложения парафразами друг друга или нет.
2.1. Лингвистические признаки и метрики
Первые два шага тесно взаимосвязаны, так как выбор логического представления и применяемых к нему метрик зависят от анализируемых признаков предложений. Именно поэтому методы распознавания парафразов в первую очередь классифицируют по фокусным лингвистическим признакам предложений. Традиционно лингвистические признаки делят на строковые (или поверхностные), признаки, моделирующие глубинную синтаксическую или семантическую структуру предложения, и дистрибутивные признаки (на основе которых строятся модели векторного пространства).
Каждая группа признаков учитывает разные аспекты близости текстов и имеет свои достоинства и недостатки. Поэтому многие исследователи концентрируют свое внимание на поиске оптимальной комбинации признаков и соответствующих метрик (Pronoza, Yagunova & Pronoza 2016).
2.1.1. Поверхностные признаки
Первые опыты по автоматическому распознаванию парафразов проводились на основе строковых признаков анализируемых предложений. Как правило, такой подход не показывает высоких результатов. Однако он весьма прост в исполнении, так как не использует внешние семантические ресурсы и не требует трансформации обрабатываемых текстов в какую-либо логическую форму. Чаще всего предобработка исходных предложений ограничивается их частеречной разметкой и лемматизацией. Именно строковые метрики обычно выполняют роль базовой линии при оценке работы система распознавания парафразов.
К строковым метрикам относятся измерения длины пересекающихся подстрок (символов, слов, n-грамм), наибольшей общей подстроки (LCS) и разницы длины предложений (SLD), дистанция редактирования, Skip-grams, количество совпавших имен собственных и количественных числительных. 
В отдельные подгруппы можно выделить метрики, которые используются при оценке качества машинного перевода: BLEU, WER (word error rate), TER (translation error rate), ROUGE-L, и метрики, применяемые в информационном поиске: tf-idf, BM25.
Примеры применения перечисленных выше метрик можно найти в следующих исследованиях: (Pronoza, Yagunova 2015), (Eyecioglu, Keller 2015), (Zhang, Patrick 2005), (Cha 2007), (Kozareva, Montoyo 2016), Kozareva, (Brzchcin, Svobodsa 2016), (Rajkumar, Chitra 2010). 
2.1.1. Признаки, моделирующие глубинную структуру предложения
Модель глубинной семантической структуры предложения выстраивается с помощью семантических отношений (синонимия, гиперо-гипонимия) между словами внутри рассматриваемых предложений. Такие отношения извлекаются с помощью внешних семантических ресурсов (например, тезаурусов). Семантические метрики эффективнее поверхностных, но в то же время они сильно зависят от качества используемых семантических ресурсов.
Большинство систем, измеряющих семантическую близость с помощью словаря, используют WordNet или подобные ему ресурсы (например, Yet Another RussNet для работы с русским языком). При этом могут использоваться различные метрики, например, кратчайший путь между узлами сравниваемых слов. Более подробное описание метрик, применимых к определению семантической близости слов по тезаурусам представлено в (Budanitsky, Hirst 2006) и (Митрофанова 2008), а пример использования таких метрик можно найти в (Fernando, Stevenson 2008).
В роли модели синтаксической структуры предложения в большинстве случаев выступает дерево зависимостей. Достоинства и недостатки работы с семантическими признаками актуальны и для синтаксических признаков: качество распознавания может достигать приличного уровня, однако конечный результат в большой степени зависит от результатов работы синтаксического парсера.
Степень близости двух деревьев может рассчитываться как пересечение зависимостей или с помощью подсчета количества синтаксических трансформаций, необходимых для превращения одного предложения в другое. Правила таких трансформаций извлекаются с помощью грамматического анализа или статистическими методами. Количество этих правил огромно и для определения не-парафразов нужно попробовать применить их все, так что отдельной задачей многих систем является сокращение количества правил до самых вероятных.
Среди исследований, использующих синтаксические признаки предложений можно назвать (Oliva et al. 2011), (Heilman, Smith 2010), (Rus, McCarthy and Lintean 2008).
2.3. Модели векторного пространства
Альтернативой сочетанию семантических и синтаксических признаков являются модели векторного пространства или дистрибутивные модели. Они позволяют предсказывать семантическую близость предложений, не проводя глубокого анализа их структуры.
Одной из первых работ, в которой была озвучена идея дистрибутивной семантики, стал «Логико-философский трактат» Л. Витгенштейна, далее её подхватили и развивали американские дескриптивисты – в первую очередь З. Харрис (Harris, Zellig 1954), а также некоторые структуралисты, например, основоположник Лондонской лингвистической школы Д.Р. Ферс (Firth 1957). В общем случае дистрибутивную гипотезу можно сформулировать следующим образом: по меньшей мере некоторые аспекты лексического значения зависят от дистрибутивных свойств слова в контексте.
Таким образом, дистрибутивная модель должна отражать совместную встречаемость слов в текстах. Информацию об этом модель получает из большого текстового корпуса. Поэтому эффективность обученной модели во многом зависит от представительности справочного корпуса.
Основным способом представления значения в дистрибутивной семантике стали предложенные американским психологом Ч. Осгудом семантические (контекстные) векторы (Osgood, Suci, Tannenbaum 1957).
Контекстные векторы можно строить, подсчитывая реальную совместную встречаемость слов в справочном корпусе (context-counting models) или предсказывая её (context-predicting models). 
Первый подход подразумевает построение матриц совместной встречаемости, строки которых и являются контекстными векторами.
Матрица “терм−документ”, которая традиционно используется в области информационного поиска, требует большого количества представительных и тематически однородных документов. Преодолеть её ограничения позволяет сужение рассматриваемого контекста путём построения матрицы “терм−терм” (или “терм−контекст”). Контекстное окно может включать заданное количество слов до и после фокусного слова или его роль может выполнять “синтаксически мотивированный” фрагмент предложения (Levy, Goldberg 2014).
Контекстное окно задаёт свойства полученного вектора. Маленькие окна лучше улавливают синтаксические связи, а большие лучше улавливают семантические связи. Считается, что окно в 1−2 слова фиксирует синтагматические связи, окно в 5−10 слов – парадигматические, а окно более 50 слов – тематические. 
Важно отметить, что простого подсчета совместной встречаемости слов недостаточно, так как самые высокие значения получают неинформативные слова (служебные части речи, общеупотребительные слова). Чтобы этого избежать, значения в матрице “терм−документ” проходят этап взвешивания (например, tf-idf), а перед построением матрицы “терм−терм” из исходного корпуса удаляются стоп-слова. Ещё одним вариантом взвешивания матриц является t-критерий Стьюдента, оценивающий, насколько расходятся наблюдаемое среднее и ожидаемое значения.
Другим значительным недостатком матриц совместной встречаемости является их разреженность, которая усложняет дальнейшее обучение моделей и препятствует распознаванию синонимии (так как синонимам присваиваются разные координаты). Поэтому отдельной задачей становится снижение размерности матрицы за счёт отбора «наиболее значимых» координат. Для этого могут применяться сингулярное разложение матрицы (SVD) и различные его модификации (Truncated SVD) или латентный семантический анализ (LSA) (Dumais, Furnas, Landauer, Deerwester, Harshman 1988).
После сокращения размерности матрицы начинается этап определения степени семантической близости слов (предложений) путём вычисления расстояния между полученными для них векторами. Для этого можно использовать евклидово расстояние или его квадрат, меру Хэмминга, расстояние Чебышева, степенное расстояние, процент несогласия или косинусную меру. 
Альтернативой счётным моделям выступают предсказательные модели, которые используют для построения векторных представлений слов нейронное языковое моделирование. Задачей нейронной сети в данном случае становится максимизация сходства векторов слов, являющихся соседями в справочном корпусе, и минимизация сходства векторов слов, которые не встречаются в одинаковых контекстах.
На сегодняшний день существует несколько предсказательных методов: fastText (Bojanowski, Grave, Joulin, Mikolov 2016), Glove (Pennington, Socher, Manning 2014), doc2vec (Le, Mikolov 2014), AdaGram (Bartunov, Kondrashkin, Osokin, Vetrov2016).
Подробнее остановимся на используемом в нашем исследовании семействе алгоритмов Word2Vec, предложенном командой исследователей из Google в 2013 (Mikolov, Chen, Corrado, Dean 2013), (Mikolov, Yih, Zweig 2013). Обученные с помощью этих алгоритмов модели отличаются тем, что хорошо определяют схожесть слов, а также фиксируют некоторые семантические отношения, которые можно вычислить как разницу между векторами. 
В состав Word2Vec входят следующие компоненты.
SGS (Skip-gram) предсказывает “оконные” контексты по слову. Под skip-gram понимается последовательность длиной n, где элементы находятся на расстоянии не более, чем k друг от друга. Этот алгоритм рекомендуется использовать для обработки небольших корпусов (меньше ста миллионов слов), так как он работает медленнее CBOW, однако позволяет обрабатывать редкие слова и словосочетания.
CBOW (Continuous Bag-of-Words) предсказывает слово по “оконному” контексту. Для обучения моделей с его помощью рекомендуется использовать большие корпуса, объёмом от миллиарда слов, так как этот алгоритм лучше обрабатывает высокочастотные слова и работает быстрее. 
В конечном итоге задачей построения модели Word2Vec является максимизация близости векторов, регулярно появляющихся друг рядом с другом слов, и минимизация близости векторов слов, которые не появляются вместе.
Принцип работы у алгоритмов Word2Vec следующий (Немного про word2vec… 2015): 
1.	рассчитывается встречаемость каждого слова в поданном на вход корпусе текстов;
2.	полученный массив слов сортируется по частоте (слова сохраняются в хэш-таблице), и из него удаляются редкие слова;
3.	строится дерево Хаффмана (Huffman Binary Tree), которое позволяет снизить вычислительную и временную сложность алгоритма;
4.	из корпуса читается так называемое субпредложение (чаще всего простое предложение), для которого проводится субсэмплирование (изъятие из анализа наиболее частотных слов);
5.	из субпредложения извлекаются n-грамы, соответствующие размеру заданного контекстного окна (максимальной дистанции между текущим и предсказываемым словом), по умолчанию такое окно равно 5 словам;
6.	применяется нейросеть прямого распространения (Feedforward Neural Network) опционально используется функция активации иерархический софтмакс (Hierarchical Softmax) и проводится негативное сэмплирование (Negative Sampling); иерархический софтмакс хорошо обрабатывает редкие слова, но работает чуть медленнее негативного семпплирования, которое в свою очередь лучше работает с частотными словами и векторами небольшой размерности. 
Суть негативного сэмплирования заключается в упрощении процесса обучения за счёт сокращения количества обрабатываемых контекстов. В расчётах участвуют уже не все возможные контексты, а только некоторое количество случайным образом выбранных контекстов. 
2.2. Этап принятия решения
Этап принятия решения относительно того, является ли рассматриваемая пара предложений парафразами или нет, может быть реализован двумя разными способами.
С одной стороны, существует пороговый подход. Он заключается в подборе оптимального порогового значения близости предложений, который с наибольшей точностью делит пары предложений на парафразы и не-парафразы. 
С другой стороны, активно используются методы классического машинного обучения с учителем. На вход алгоритм получает список значений близости, полученных на втором шаге работы системы распознавания, и информацию о том, соответствуют эти значения парафразам или нет. Для решения задачи идентификации парафразов исследователи экспериментируют с различными алгоритмами машинного обучения. Среди них можно назвать алгоритм наивного Байеса, логистическую регрессию, метод k-ближайших соседей, деревья решений, метод опорных векторов, СВМ, SVM-регрессия, Gradient Boosting Classifier, AdaBoost, Random Forests и Gradient Tree Boosting (GTB).
Для нашего исследования был выбран пороговый подход к принятию решения, так как он имеет прозрачный механизм действия и позволяет проинтерпретировать ошибки классификации с точки зрения особенностей языковой модели, без учёта специфики алгоритмов машинного обучения.

Глава 3. Эксперимент по распознаванию парафразов
Данная глава посвящена описанию эксперимента по распознаванию парафразов. Эксперимент проходил в три этапа:
1)	оценка близости проверяемых пар заголовков в векторном пространстве с помощью алгоритмов Word2Vec;
2)	подбор оптимальных пороговых значений для каждой построенной модели;
3)	анализ ошибок распознавания.
Рабочим инструментом выступил модуль Word2Vec из библиотеки genism для языка программирования Python.
В ходе эксперимента использовались готовые языковые модели, обученные на корпусах русскоязычных новостей с сентября 2013 по октябрь 2015 («news_mystem…») или по ноябрь 2016 («news_upos…»). Модели размещены на сайте http://rusvectores.org/ru/models. Мы считаем, что данные модели наиболее соответствуют параметрам экспериментов, которые проводятся на материале новостных заголовков. Описание моделей представлено в Таблице 4.
Подготовка исследуемых подкорпусов пар новостных заголовков (парафразы и не-парафразы) включала их лемматизацию и частеречную разметку с помощью программы mystem, которая получала на вход список предложений (каждое с новой строчки и завершается меткой «РРР») и параметры «-nldi».
Далее с помощью регулярных выражений из разбора были удалены все граммемы, кроме обозначения части речи, знак «=» между леммой и частеречным тегом был заменен на нижнее подчеркивание (пример представления слова: «вертолет_ S»). Следующим шагом из обрабатываемого документа были удалены слова служебных частей речи. Для работы с языковой моделью, обученной алгоритмом CBOW, частеречные теги были приведены к нотации Universal POS tags.
Таблица 4. Векторные модели RusVectores
Название: корпус_тегсет_алгоритм_размерность вектора_ размер окна_год создания	Размер корпуса	Объем словаря	Частотн.
порог	SimLex 965	Google Analogies	
news_mystem_skipgram_
1000_20_2015	2.5 млрд сл.	147 358	200	0.33	0.42	
news_upos_cbow_
300_2_2017	почти 5 млрд сл.	194 058	200	0.32	0.58	

Кроме того, из подготавливаемых текстовых документов были удалены слова, отсутствующие в соответствующих языковых моделях (список таких слов выявлялся при первом запуске скрипта для оценки близости заголовков). 
Для расчета близости заголовков используется скрипт, представленный в Приложении 2. За векторное представление каждого заголовка принимается сумма векторов слов, из которых он состоит. Далее собирается рабочий список векторов пар заголовков, близость которых рассчитывается как косинус угла между ними. В конце также происходит разделение анализируемого материала на тренировочную и тестовую выборку, в каждую из которых попало по 187 пар парафразов и 386 пар не-парафразов (сохранено соотношение парафразов и не-парафразов исходного корпуса).
Критериями количественного анализа стали максимальное и минимальное значения подсчитанных степеней близостей парафразов в тренировочной выборке, а также распределение значений внутри указанного интервала. Интервалы, в которые попадают значения семантической близости пар предложений, представлены в Таблице 5.
Таблица 5. Результаты оценки семантической близости пар заголовков
		min	max	
CSG	Парафразы	0.64	1.0	
	Не-парафразы	0.22	0.95	
CBOW	Парафразы	0.5	1.0	
	Не-парафразы	-0.1	0.97	

Диаграмма 1 иллюстрирует распределение значений близости парафразов и не-парафразов, полученных с помощью алгоритма Continuous Skip-Gram.
Очевидно, абсолютное большинство, а именно 90% парафразов, сосредоточено в интервале [0,8:1]. Чуть менее плотным оказалось распределение не-парафразов: 76% из них попало в интервал [0,7:0,9]. Таким образом, порог, разделяющий парафразы и не-парафразы, имеет смысл искать в интервале от 0,8 до 0,9.

Диаграмма 1. Распределение значений семантической близости пар заголовков. CSG
Распределение значений близости парафразов и не-парафразов, полученных с помощью алгоритма Continuous Bag-of-Words, отражено на Диаграмме 2.

Диаграмма 2. Распределение значений семантической близости пар заголовков. CBOW
В интервал [0,8:1] попадает 72% парафразов, и 70% не-парафразов располагается в интервале [0,5:0,8]. Таким образом, поиск оптимального порогового значения будет проводиться в интервале от 0,75 до 0,85.
3.3. Подбор пороговых значений
В интервалах-гипотезах с шагом в 0,01 выбирались пороговые значения для проверки. Для них вычислялись точность (Precision), полнота (Recall) и F-мера (F1) распознавания парафразов. На основе полученных результатов (см. Таблицу 6 и Таблицу 7) были выбраны оптимальные пороговые значения: 0,82 для CSG и 0,78 для CBOW.
Таблица 6. Поиск порогового значения: CSG
Порог	Precision	Recall	F1	
0,8	0,58	0,91	0,71	
0,81	0,63	0,9	0,74	
0,82	0,68	0,87	0,761	
0,83	0,7	0,81	0,75	

Таблица 7. Поиск порогового значения: CBOW
Порог	Precision	Recall	F1	
0,75	0,68	0,82	0,75	
0,76	0,7	0,79	0,74	
0,77	0,74	0,75	0,746	
0,78	0,77	0,74	0,755	
0,79	0,78	0,68	0,73	

Для сравнения можно взять результаты участников дорожки по распознаванию парафразов с AINL−2016. Базовая линия для F-меры была установлена на отметке 0,54, а результаты, превысившие этот порог, лежат в интервале от 0,69 до 0,80. 
3.4 Анализ ошибок распознавания парафразов
После определения оптимальных пороговых значений был произведён анализ допущенных алгоритмами ошибок. Эти ошибки можно разделить на два типа: парафразы, значения близости которых оказались меньше установленных порогов (false negative), и не-парафразы, определенные как парафразы (false positive).
3.4.1. Ошибки первого типа
Модель, обученная алгоритмом CSG, допустила 25 ошибок первого типа, а модель, обученная алгоритмом CBOW − 48. При этом первое множество ошибок полностью входит во второе. Полный список пар заголовков, относительно которых допущены ошибки 1 типа, представлен в Приложении 3.
В числе нераспознанных парафразов оказались пары заголовков, содержащие трансформации со всех лингвистических уровней. В большинстве случаев модели ошибались, сталкиваясь со сложными трансформациями на грамматическом уровне или с большим количеством трансформаций на других уровнях. Хотя прямой зависимости между количеством трансформаций и значением близости не прослеживается. 
Приведём несколько примеров ошибок:
•	Число погибших в результате торнадо в Мексике увеличилось до 13 − Торнадо на севере Мексики унес жизни 13 человек, пара №284;
•	Греф остался президентом Сбербанка − Греф переизбран главой Сбербанка на третий срок, пара №349;
•	Минобороны протянет к военным в Приднестровье «воздушный мост» − Минобороны пообещало снабжать миротворцев в Приднестровье по воздуху, пара №235;
•	Депутатам разрешили обходиться без присяги на верность Родине − ГД не стала вводить обязательную присягу депутатов на верность Родине, пара №238.
Распределение ошибок, допущенных моделью CSG, по лингвистическим уровням трансформаций в представлено на Диаграмме 3.
Диаграмма 3. Ошибки CSG

Помимо учтённых выше ошибок, модель CBOW допустила ещё 23 ошибки, которые немного повлияли на их общее распределение по лингвистическим уровням (см. Диаграмму 4).
Диаграмма 4. Ошибки CBOW

3.4.2 Ошибки второго типа
К ошибкам второго типа относятся случаи, когда значение степени близости не-парафразов оказалось выше установленного порога. Полный список пар заголовков, относительно которых допущены ошибки 2 типа, представлен в Приложении 4.
Ошибки этого типа демонстрируют нам, что семантически близкие заголовки не обязательно являются парафразами друг друга. Среди них можно также выделить заголовки, которые
•	отражают развитие, обновление статуса ситуации (Число жертв оползня на северо-западе Колумбии возросло до 40 человек – Число жертв оползня в Колумбии достигло 60, пара №430; Госдума может лишить мандата осужденного депутата от КПРФ Ширшова – Госдума лишила мандата осужденного депутата от КПРФ, пара №537);
•	описывают похожие ситуации, происходящие в разных местах (Землетрясение магнитудой 5,3 произошло у берегов Эквадора – В Японии произошло землетрясение магнитудой 8,5, пара №762) или с разными людьми (Матвиенко поддерживает возможность переноса выборов в Госдуму – Нарышкин поддержал перенос выборов в Госдуму, пара №489); отдельно можно выделить заголовки, описывающие колебания курсов валют (Официальный курс евро составил 56,10 рубля – Официальный курс доллара упал к 49 рублям, пара №406);
•	связаны отношениями импликации (Генпрокурор США: чиновники ФИФА получили взятки за проведение ЧМ в ЮАР – Генпрокурор США назвала сумму полученных ФИФА взяток, пара №643);
•	вероятно, описывают одну и ту же ситуацию, однако без привлечения экстралингвистической информации невозможно однозначно определить, кореферентны ли названные в них объекты (В Донецке возобновились обстрелы, погиб один человек – При обстреле Донецка погиб мирный житель, пара №432);
•	описывают разные аспекты одной и той же ситуации (ЦБ: полисы ОСАГО, проданные «Росгосстрахом» после запрета, нелегитимны – «Росгосстрах» приостановил продажи в России новых полисов ОСАГО, пара №647; Полина Гагарина выступила в финале «Евровидения-2015» – Гагарина боялась выступать в финале «Евровидения», пара №557);
•	повествуют о разных ситуациях (Украинские силовики сообщили о гибели трех военных за сутки в Донбассе – Украинские власти сообщили о задержании двоих российских военных в Донбассе, пара №776).
Модель, обученная алгоритмом CSG, допустила 77 ошибок второго типа, а модель, обученная алгоритмом CBOW – 42 ошибки. При этом множество ошибок первой модели практически полностью (кроме одного случая) включает в себя множество ошибок второй модели.
Распределение ошибок модели CBOW представлено в Таблице 8.
Таблица 8. Ошибки CBOW
Описание ошибки	Количество	% от общего количества	
обновление статуса во времени	17	40	
разные аспекты ситуации	7	17	
разные места	5	12	
разные люди	4	9,5	
разные люди	4	9,5	
вопрос принадлежности ко множеству	3	7	
разные валюты	2	5	

Модель CSG, кроме перечисленных выше, допустила еще по несколько ошибок в обозначенных категориях и дополнила этот список ошибками из категории «разные ситуации» (см. Таблицу 9).
Таблица 9. Ошибки CSG
Описание ошибки	Количество	% от общего количества	
разные аспекты ситуации	17	52	
обновление статуса во времени	7	21	
разные ситуации	4	12	
разные люди	2	6	
импликация	2	6	
разные места	1	3	

Заключение
В рамках данной работы было проведено экспериментальное исследование механизмов перефразирования. Для этого корпус точных парафразов был размечен с точки зрения происходящих в них лингвистических трансформаций. На основе разметки была выстроена классификация трансформаций, отражающая их распределение по разным уровням языка. Подсчёты показали, что 33% представленных в корпусе трансформаций происходит на семантическом уровне, 30% на лексическом, 28% на грамматическом и 9% трансформаций происходит на графическом уровне. Причём в среднем на одну пару заголовков приходится 3 трансформации (минимальное количество трансформаций равно 1, а максимальное – 7). Единичной трансформации оказалось достаточно только в 60 случаях из 372.
Было проведено сравнение работы двух алгоритмов построения дистрибутивных языковых моделей: CBOW и CSG. Эксперимент проводился на материале русскоязычного корпуса новостных заголовков. Результаты оценки близости векторов заголовков показали, что CBOW немного менее плотно группирует вектора парафразов и не-парафразов и за счёт этого теряет в полноте распознавания парафразов. У CSG показатель полноты распознавания оказался больше на 13%. С другой стороны, CBOW обеспечивает более высокую точность распознавания парафразов: разница с CSG составляет 9%.
Разницу в работе моделей помогает понять анализ ошибок. Среди них можно выделить ошибки двух типов: нераспознанные парафразы и не-парафразы, значение близости которых превысило установленный порог распознавания.
Распределение трансформаций по уровням языка внутри нераспознанных парафразов демонстрирует уязвимость дистрибутивных моделей при обработке комплексных синтаксических трансформаций или сочетаний трансформаций разного типа. Модель CSG справляется с такими трансформациями чуть лучше и поэтому результаты её работы получают более высокую оценку полноты.
Ошибки второго типа демонстрируют, что высокая оценка семантической близости предложений не обязательно подразумевает, что они являются парафразами друг друга. Основными источниками ложноположительных результатов стали согипонимы в схожих контекстах, семантические импликации, а также предложения, отражающие развитие ситуации во времени.
В целом, результаты работы языковых моделей, построенных с помощью алгоритмов из семейства Word2Vec, получили очень близкие оценки качества. Разница значений F-меры составила всего 0,5%. Кроме того, эти оценки (0,755 и 0,76) оказались сопоставимыми с результатами прохождения дорожки по распознаванию парафразов, проведённой в рамках конференции AINL−2016.
Таким образом, наше исследование подтверждает целесообразность использования нейросетевых моделей Word2Vec для распознавания парафразов среди коротких русскоязычных текстов. При этом выбирать алгоритм обучения модели стоит исходя из постановки задачи, а точнее из приоритетности показателей качества и полноты. 

Список используемой литературы
1.	Алексеев А., Бобровников Д. Векторная семантика. CSCenter, Санкт-Петербург, 2017. URL: https://compscicenter.ru/media/slides/introduction_nlp_2017_autumn/2017_10_25_introduction_nlp_2017_autumn.pdf (дата обращения: 10.05.2018)
2.	Апресян Ю.Д., Цинман Л.Л. Формальная модель перефразирования предложений для систем переработки текстов на естественных языках // Русский язык в научном освещении №2. – М.: языки славянской культуры, 2002. с. 102–146.
3.	Ахманова О.С. Словарь лингвистических терминов Изд. 2-е, стереотипное. / О.С. Ахманова. М.: Едиториал УРСС, 2004. – 576 с.
4.	Большой словарь иностранных слов. Издательство «ИДДК», 2007.
5.	Дворецкий И.Х. Древнегреческо-русский словарь [в 2-х тт.]. Под ред. С.И. Соболевского. С приложением грамматики, составленной С.И. Соболевским. – М., 1958. – 1043 с.
6.	Квятковский А.П. Поэтический словарь / Науч. ред. И. Роднянская. — М.: Сов. Энцикл., 1966. — 376 с.
7.	Комлев Н.Г. Словарь иностранных слов: [более 4500 слов и выражений] / Н. Г. Комлев. – М: Эксмо, 2006 — 669 с.
8.	Мельчук И.А. Опыт теории лингвистических моделей «смысл-текст» / И.А. Мельчук. – М.: Школа «Языки русской культуры», 1999. – 346 с.
9.	Митрофанова О.А. Измерение семантических расстояний как проблема прикладной лингвистики // Структурная и прикладная лингвистика Вып. 7. СПб., 2008.
10.	Немного про word2vec: полезная теория // NLPx. Tales of Data Science, 2015 URL: http://nlpx.net/archives/179 (дата обращения: 10.05.2017)
11.	Ожегов С.И. Толковый словарь русского языка / С.И. Ожегов. – М.: Русский язык, 2001. – 994 с.
12.	Осипова Л., Улитова Е. Золотые навыки психотерапии: практическое руководство психолога-консультанта: [12+]. [Б. м.]: Издательские решения, 2016. –  160 с.
13.	Словарь русского языка: В 4-х т. / РАН, Ин-т лингвистич. исследований; Под ред. А. П. Евгеньевой. — 4-е изд., стер. — М.: Рус. яз.; Полиграфресурсы, 1999. Т. 1. А—Й. — 702 с.
14.	Теучеж З.Г. Основные подходы к исследованию лингвистической парафразы / Вестник Адыгейского государственного университета. Серия 2: Филология и искусствоведение. Майкоп, 2008 (а). – 4 с.
15.	Теучеж З.Г. Структурно-семантическая и коммуникативно-прагматическая специфика лингвистической парафразы: Автореф. дис. канд. филол. наук: 10.02.19 – Майкоп, 2008 (б). – 23 с.
16.	Толковый словарь русского языка / Под ред. Д.Н. Ушакова. М.: Астрель: АСТ: Хранитель, 2007. – 910 с.
17.	Хомский Н. Аспекты теории синтаксиса. (Публикации Отделения структурной и прикладной лингвистики. Серия переводов; Вып. 1). Пер. с англ. под ред. и с предисловием В.А.Звегинцева. – М.: Издательство МГУб 1972. – 260 с.
18.	Энциклопедия русского языка / Под редакцией Ю.М. Караулова: Большая Российская энциклопедия, 2004. – 704 с.
19.	Bartunov S., Kondrashkin D., Osokin A., Vetrov D. Breaking Sticks and Ambiguities with Adaptive Skip-gram // International Conference on Artificial Intelligence and Statistics (AISTATS), 2016. 
20.	Bhagat R., Hovy E. What Is a Paraphrase? // Association for Computational Linguistics, 2013. pp. 463 – 472.
21.	Bojanowski P., Grave E., Joulin F., Mikolov T. Enriching word vectors with subword information // arXiv preprint arXiv:1607.04606, 2016.
22.	Brzchcin T., Svoboda L. UWB at SemEal-2016. Task 1: Semantic textual similarity using lexical, syntactic, and semantic information // Proceedings of SemEval-2016. pp. 588 – 594. 
23.	Budanitsky A., Hirst G. Evaluating WordNet-based measures of semantic distance // Computational Linguistics, 32(1), 2006. pp. 13 – 47. 
24.	Cha S.-H. Comprehensive survey on distance/similarity measures between probability density functions // International Journal of Mathematical Models and Methods in Applied Sciences, vol. 1 (4), 2007. pp. 300 – 307. 
25.	Chitra A., Kumar S. Paraphrase Identification using Machine Learning Techniques // Proceedings of the 12th International Conference on Networking, VLSI and Signal Processing, 2010. pp. 245–249. 
26.	Dumais S. T., Furnas G. W., Landauer T. K., Deerwester S. and Harshman R. Using latent semantic analysis to improve access to textual information. // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI '88), 1988. pp. 281 – 285.
27.	Eyecioglu A. and Keller B. ASOBEK: Twitter paraphrase identification with simple overlap features and SVMs // Proc. of the 9th International Workshop on Semantic Evaluation (SemEval 2015), 2015. pp. 64 – 69.
28.	Fernando В., Stevenson S.M. A Semantic Similarity Approach to Paraphrase Detection // Computational Linguistics UK (CLUK 2008) 11th Annual, 2008.
29.	Ferreira R., Cavalcanti G. D. C., Freitas F., Lins R. D., Simske S. J., Riss M. Combining sentence similarities measures to identify paraphrases // Computer Speech&Language 47, 2018. pp. 59 – 73.
30.	Firth J.R. A synopsis of linguistic theory 1930–55 // Studies in linguistic analysis, 1957. pp. 1–32. The Philological Society, Oxford. Reprinted in Palmer, 1968. pp. 168–205.
31.	Harris Z. Distributional structure. Word, 10(23), 1954. pp. 146–162.
32.	Heilman M., Smith N.A. Tree edit models for recognizing textual entailments, paraphrases, and answers to questions // Proceedings of Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, 2010. pp. 1011–1019.
33.	Hirst G. Paraphrasing paraphrased // Invited talk at the ACL International Workshop on Paraphrasing, 2003.
34.	Kozareva Z., Montoyo A. Paraphrase Identification on the Basis of Supervised Machine Learning Techniques // Proceedings of Advances in Natural Language Processing: 5th International Conference on NLP, 2006. pp. 524–533.
35.	Kriukova A., Mitrofanova O., Sukharev K. and Roshchina N. Using Explicit Semantic Analysis and Word2Vec in Measuring Semantic Similarity of Russian Paraphrases // Proceedings of DTGS-2018 Internet and Modern Society (IMS-2018). – ITMO, SPBU [in press.]
36.	Le Q., Mikolov T. Distributed representations of sentences and documents // International Conference on Machine Learning, 2014. pp. 1188 – 1196.
37.	Levy O., Goldberg Y. Dependency-Based Word Embeddings // Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Short Papers), 2014. pp. 302–308. 
38.	Magnolini S. A Survey on Paraphrase Recognition // Proceedings of the Second Doctoral Workshop in Artificial Intelligence (DWAI 2014), vol. 1334. pp. 33 – 41.
39.	Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space // Proceedings of Workshop at ICLR, 2013. 
40.	Mikolov T., Yih W., Zweig G. Linguistic Regularities in Continuous Space Word Representations // Proceedings of NAACL HLT, 2013. 
41.	Osgood C.E., Suci G.J., Tannenbaum Percy H. The measurement of meaning. Urbana, Chicago and London: University of Illinois Press, 1957. pp. 342.
42.	ParaPhraser. URL: https://paraphraser.ru/ (дата обращения: 05.10.2017).
43.	ParaPlagEvalRus-2017 URL: https://plagevalrus.github.io/content/competitions/2017.html (дата обращения: 05.04.2018).
44.	Pennington J., Socher R., Manning C. GloVe: Global Vectors for Word Representation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2014. pp. 1532–1543.
45.	Pivovarova L., Pronoza E., Yagunova E. Shared Task on Sentence Paraphrase Detection for Russian Language, 2016. URL: http://www.paraphraser.ru/download/get?file_id=2 (дата обращения: 10.05.2017)
46.	Pronoza E., Yagunova E. Low-level Features for Paraphrase Identification. Lecture Notes in Computer Science // Advances in Artificial Intelligence and Soft Computing Springer, 2015.
47.	Pronoza E., Yagunova E., & Pronoza A. Construction of a Russian paraphrase corpus: unsupervised paraphrase extraction // Information Retrieval. Springer International Publishing, 2016. pp. 146–157.
48.	Rajkumar A., Chitra A. Paraphrase Recognition using Neural Network Classification // International Journal of Computer Applications, vol. 1 (29), 2010. 
49.	Rus V., McCarthy Ph. M. and Lintean M. C. Paraphrase identification with lexico-syntactic graph subsumption // Proceedings of the Twenty-First International FLAIRS Conference, 2008. pp. 201 – 206.
50.	RusVectōrēs: семантические модели для русского языка URL: http://rusvectores.org/ru/models/ (дата обращения: 03.05.2017).
51.	Sochenkov I.V., Zubarev D.V., Smirnov I.V. The ParaPlag: Russian Dataset for Paraphrased Plagiarism Detection // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2017”. Moscow, May 31—June 3, 2017. pp. 275 – 297.
52.	Vaishnavi V., Madhesh S., Milton R.S. Paraphrase identification in short texts using grammar patterns // Recent Trends in Information Technology (ICRTIT) // 2013 International Conference on, IEEE, 2013. pp. 472–477.
53.	Zhang Y., Patrick J. Paraphrase Identification by Text Canonicalization // Proceedings of the Australasian Language Technology Workshop, 2005. pp. 160–166. 
54.	Zhao S., Wang H. Tutorial notes: Paraphrases and Applications // 23rd International Conference on Computational Linguistics. 2010. - 88 p.

Приложение 1. Разметка корпуса для построения классификации лингвистических трансформаций
№ пары	Сказуемое	Подлежащее	Дополнение	Опреде-ление	Обстоят-во	Порядок слов	Цифры	Доп. инфо	Кол-во трансфор-маций	
1						П, С, Об		Субстантивный эллипсис	2	
2				Огео--НОгенГео				ОбМ	3	
								О		
3							Ц\б		2	
							ЕдИзмер			
4	Лич--Безлич	П--ДопК	Кореференция					ОбМ	5	
	Синонимы									
5						ОбМ при ДопК--при С		Источник информации перед двоеточием	3	
								ОбМ		
6						П, С, ДопП, ОбМ, ОбВ--ДопП, ОбМ, ОбВ, С, П		НОген	2	
7	Лич--Неолич	П--ОбМ, аббр		О--НОген, кореференция				ДопК	4	
8	времяПН, управ			Огео--НОгенГео				Субстантивный эллипсис	3	
9	Синонимы, управ		расщепленное дополнение					НОгенГео	4	
								О		
10	управ		ДопК--О		ОбП--О			ДопК	4	
11								Субстантивный эллипсис	1	
12	Ксинонимы	Однородное П--ДопК						Источник информации перед двоеточием	4	
								ОбВ		
13		Синонимы		Огео--НОгенГео	Ксинонимы, уточнение времени	Обв, П			4	
14		ИФ						НОгенГео	2	
15	Конверсивы	П--ДопП	расщепленное дополнение		ОбМ--НОгенГео			Имя	7	
	:--Лич	источник--П								
16			Сложносокращ					О	2	
17	С--П, синонимы	П--ДопК							2	
18		Синонимы							1	
19			ДопП--частьСГС, управ					Огео	2	
20						Об в начале--конце	Ц\б		2	
21	Расщепл, управ							О	2	
22	Синонимы		расщепленное дополнение					О	5	
								О		
								ОбМ		
23	Ксинонимы, управ				ОбМ, уточнение локализации				2	
24	Синонимы, времяПН	П--ОбМ, метонимия	класс+название					Источник информации перед двоеточием	5	
								ОбМ		
25								Источник информации перед двоеточием	2	
								ОбМ		
26	ПОЛНЫЙ ДУБЛЬ 25!									
27	КСинонимы		КСинонимы			Ораспростр, сущ		Источник информации перед двоеточием	5	
			Синонимы							
28	С--ДопК	П--ОбМ						ДопК	6	
	:--Лич	Источник--П						ОбВ		
29	расщепл, управ	П--ОбМ	ДопК--придИзъясн					ДопК	4	
30	Синонимы								1	
31	Синонимы				ОбМ, уточнение локализации	Об в начале--конце			3	
32	Синонимы							РНК	2	
33				Огео--Ногенгео					1	
34						ОбВ, С		Источник информации перед двоеточием	2	
35								О	3	
								НО		
								О		
36	времяПН							Источник информации перед двоеточием	2	
37	частьСГС--ОбМ		кавычки		ОбМ, уточнение локализации				3	
38	Лич--Неолич	0--П	ИФ				Ц\б	приложение	6	
								ОбП		
39						ОбВ, С			1	
40					кореференция				1	
41								Источник информации перед двоеточием	1	
42	Лич--Неолич	0--П	ИФ						3	
43	Ксинонимы, расщепл, управ							НО	4	
								Субстантивный эллипсис		
								ОбМ		
44				Ксинонимы		Об в начале--конце			2	
45					ОбМ, уточнение локализации	Об в начале--конце			2	
46				Огео--Ногенгео		ДопП, ДопК			2	
47		Синонимы	ИФ					НО	4	
								Ноген		
48	расщепл, времяПН	Ксинонимы + ОбМ--П			Синонимы	П, С, ДопК	Округл	Источник информации перед двоеточием	6	
49	КСинонимы, управ		синонимы			П, ДопК, С--ДопК, С, П		Источник информации перед двоеточием	6	
			расщепленное дополнение					РНК		
50	времяПН				синонимы	П, С, ДопП	Ц\б	Источник информации перед двоеточием	5	
51	Синонимы, управ	Кореференция	ДопП--придИзъясн						3	
52	:--Лич	Источник--П			Ксинонимы, уточнение времени				4	
	Синонимы									
53	:--Лич, Синонимы, лицо	Источник--П			кавычки				3	
54		ИФ			Кореференция	ДопП, Об	Округл, ЕдИзмер		4	
55						однородные			1	
56					Синонимы, управ			РНК	2	
57	расщепл				Синонимы	П, С, ДопК, ОбВ--ДопК, ОбВ, С, П 	Округл		4	
58	КСинонимы, управ	ксинонимы				ОбВ, С		О	4	
59	:--Лич	Источник--П	ДопК--ОбМ					ОбП	6	
	С--ДопК, управ	П--ДопК								
60	Лич--Неолич, синонимы	0--П				ДопП, С		БСП2	4	
61		Ксинонимы + ОбМ--П							1	
62					синонимы			О	2	
63					синонимы	П, С, Об		Источник информации перед двоеточием	3	
64	КСинонимы, управ							приложение	3	
								ОбВ		
65	Синонимы	ИФ						приложение	3	
66	синонимы	ИФ							2	
67	:--Лич	Источник--П	метонимия	синонимы					6	
	расщепл	П--ДопК								
68			синонимы		ОбМ, уточнение локализации				2	
69	:--Лич	Источник--П							3	
		П--ДопК								
70								Источник информации перед двоеточием	2	
								О		
71	Лич--Неолич, конверсивы	П--ДопК			синонимы			Источник информации перед двоеточием	4	
72	синонимы	Кореференция						Источник информации перед двоеточием	3	
73	времяПБ	метонимия							2	
74		Ксинонимы + ОбМ--П					Округл	ОбМ	4	
		Кореференция								
75	Синонимы					Об в начале--конце			2	
76		Синонимы				П, С, Об			2	
77				Огео--Ногенгео					1	
78					ОбП--ОбВ	П, С, Об		ДопК	3	
79								имя	1	
80			кавычки		Огео--ОбМ				2	
81	времяПН		аббр			ДопП, ДопК		Источник информации перед двоеточием	4	
82	Лич--неолич	П--ДопП, синонимы						ОбП	3	
83				Огео--Ногенгео					1	
84			ИФ						1	
85			расщепленное дополнение					регистр после :	2	
86	Лич--неолич, Ксинонимы	П--ДопП, синонимы	синонимы, управ		синонимы				4	
87	Лич--Безлич	П--ДопП						ОбМ	4	
		Источник--БСП2, метонимия								
88					синонимы	П, С, Об			2	
89	С--Допк	Источник--П						приложение	4	
		П--ДопК								
90	Синонимы, управ								1	
91	синонимы, управ		класс+название					имя	4	
								ОбВ		
92	синонимы		аббр					ОбО	4	
			аббр							
93		кавычки				П, С, ДопК			2	
94					ОбМ, уточнение локализации	П, С, Об			2	
95	синонимы	метонимия							2	
96	Синонимы		синонимы				формат, ЭллипсЕдИзмер		3	
97	конверсивы	П--ДопК	ДопП--О					П	4	
98	КСинонимы				ОбП--ДопК, число		Округл	О	4	
99			класс+название			ДопК, П, С--П, С, ДопК		регистр после :	3	
100	Лич--Неолич	П--ОбМ	синонимы	Ксинонимы					4	
101	Синонимы	П--ДопК		О--Ноген, кореференция				приложение	5	
	С--ДопК									
102					ОбМ, уточнение локализации		Округл	источник информации перед двоеточием	4	
					синонимы					
103	С--ДопК	П--ДопК	синонимы					источник информации	4	
104	Лич--неолич, синонимы, времяПН	0--П				ДопП, С			3	
105	Ксинонимы		ДопП--частьСГС, управ					ОбМ	3	
106			Синонимы	О--НоГен, ксинонимы				О	3	
107					ОбО, расщепл			регистр после :	2	
108	Ксинонимы, времяПБ, управ		часть речи, управ, синонимы						2	
109								источник высказывания БСП2	1	
110	синонимы						Округл	однородное ДопК	3	
111			Сложносокращ						1	
112	:--Лич	Источник--П						О	5	
	Ксинонимы, наклонение	П--ДопП								
113					синонимы	ОбВ, С		Источник информации перед двоеточием	3	
114	С--Об, управ				ОбУ--придУсл			Источник информации перед двоеточием	3	
115	расщепл, времяНБ	П--ДопК, кореференция							3	
	С--Об, управ									
116		расщепл							1	
117		Синонимы						РНК	2	
118		Синонимы	кавычки						2	
119	Лич--Неолич, конверсивы	П--ДопП		Ноген--придОпред				ОбМ	4	
120		Синонимы						ОбВ	2	
121	:--Лич	Источник--П	ДопК--частьСИС						4	
			Синонимы							
122					ОбП--ОбВ	П, С, Об	Эллипс1	ДопК	5	
					синонимы					
123	Синонимы				ОбВ--ДопК	П, С			3	
124		метонимия					ЕдИзмер		2	
125					ОбМ, уточнение локализации				3	
					ОбМ, уточнение локализации	П, С, ОбМ1, 2--ОбМ2, С, П, 1				
126	времяПН, управ		Синонимы			ДопП, ДопК	Ц\б		4	
127			Синонимы	О--НО, распр					2	
128	управ		Синонимы			ДопП, ДопК			3	
129	конверсивы, времяНБ	П--ДопК						регистр после :	4	
								О		
130						ДопК, ДопП, Об			1	
131		Синонимы	расщепленное дополнение, синонимы						3	
			расщепленное дополнение							
132	С--ДопК		метонимия					Источник информации перед двоеточием	3	
133		ИФ	Ксинонимы		ОбМ, уточнение локализации			приложение	5	
								О		
134	Лич--Неолич, конверсивы	П--ДопП						ОбЦ	3	
135	расщепл		ДопК--О, кореференция			ДопК, ДопК		Разные источники информации перед двоеточием	5	
								регистр после :		
136	конверсивы	ксинонимы		Огео--Ногенгео	ОбП--ДопК				4	
137				О--Ноген				Источник информации перед двоеточием	2	
138								Источник информации перед двоеточием	1	
139	Синонимы, времяПН		ДопК--Ноген					Источник информации перед двоеточием	5	
			число					ОбО		
140	Синонимы, управ	П--ОбМ						ОбП	4	
		0--П								
141	времяПБ		часть речи, управ	Огео--Ногенгео				Однородное П	4	
142	расщепл, управ							О	3	
								пробел в аббр		
143		Синонимы							1	
144			кавычки		ОбМ, уточнение локализации				3	
			Ксинонимы							
145								источник информации перед двоеточием	1	
146	С--П	П--ДопК					Ц\б	Однородн подлежащее	4	
147	конверсивы	П--ДопК			ОбМ, уточнение локализации				4	
	Синонимы, ПГС--СИС									
148			Кореференция					О	2	
149	Лич--Неолич	П--ДопК	ДопК--ОбМ						3	
150		Синонимы							1	
151								О	1	
152	расщепл		ДопК--ОбО, ксинонимы			Однородные			3	
153		ИФ							1	
154	Ксинонимы, времяПБ, управ		ДопП--ОбМ					ОбЦ	4	
								ОбП		
155	расщепл, времяПН		ИФ						3	
			Однородные ДопК--ДопК с ДопК							
156	расщепл, управ								1	
157	расщепл, управ		частьСГС--ДопК, управ						3	
			синонимы							
158						ДопП, Об		РНК	2	
159			синонимы					РНК	4	
								имя		
								ОбМ		
160					синонимы	П, С, Обв=, ОбМ	Округл	источник информации перед двоеточием	5	
					синонимы					
161	конверсивы	расщепл, П--ДопП							3	
		П--ДопП								
162	Конверсивы, вид	П--ДопП							3	
		П--ОбО								
163		ИФ							1	
164					синонимы	Об в начале--конце		БСП2	3	
165	расщепл		число			ДопП, ДопК, С, ОбМ, ОбВ--ОбМ, Допк, С, ДопП, ОбВ	Эллипс1	Источник информации перед двоеточием	6	
								НО		
166					синонимы	П, ОбМ, С, ОбМ--ОбМ, ОбМ, С, П		Источник информации перед двоеточием	3	
167		метонимия	регистр						2	
168	Синонимы				синонимы	П, ОбМ, С, ОбМ--ОбМ, ОбМ, С, П		Источник информации перед двоеточием	5	
								РНК		
169	лич--Неолич	0--П						придМеста	5	
		П--ДопП						ДопК		
170	Ксинонимы		Синонимы					ОбМ	5	
			ИФ					НО		
171			ИФ						2	
			Синонимы							
172	Ксинонимы, времяПН	Ксинонимы	класс+название						3	
173			Синонимы					Источник информации перед двоеточием	3	
								Однородное ДопК		
174		метонимия							1	
175		Синонимы						Источник информации перед двоеточием	3	
								приложение		
176	конверсивы	П--ОбМ			ОбМ, уточнение локализации			Разные источники информации перед двоеточием	4	
177				аббр				приложение	2	
178	Синонимы								1	
179	С--ДопК	П--ДОпК						О	5	
								ОбВ		
								источник информации		
180		Синонимы		расщепл НО				РНК	3	
181	Синонимы					ДопК, Об		РНК	4	
								приложение		
182						НО при П--ДопП		НО	2	
183	Синонимы								1	
184			расщепленное дополнение						1	
185			Синонимы					Источник информации перед двоеточием	3	
								ОбО		
186	синонимы			Ксинонимы				Ноген	3	
187	:--Лич	Источник--П			О--ОбМ				4	
	С--ДопК, управ									
188						ДопП, ДопК	ЕдИзмер	РНК	3	
189		ИФ	расщепленное дополнение					О	3	
190		аббр							1	
191	Синонимы, расщепл, времяПБ, управ	кавычки		Огео--НОгенГео					3	
192	времяПН	Источник--П, метонимия		О--Ноген					3	
193		ИФ	аббр						4	
		ИФ	аббр							
194	расщепл, времяПН								1	
195				Огео--Ногенгео		Огео		О	3	
196	Конверсивы	П--ДопП						однородное ДопК	5	
		П--ДопК						О		
197						Однородные			1	
198	Синонимы		Синонимы						3	
	Ксинонимы, управ									
199	Синонимы, управ								1	
200	времяПН, вид	Синонимы		синонимы				ОбМ	5	
								ОбМ		
201	Синонимы		ДопК, название в им--род					РНК	3	
202	Синонимы								1	
203					синонимы	П, С, Об			2	
204		Синонимы	число						2	
205	Синонимы, времяПН		ДопП--придИзъясн		синонимы, число				4	
			С--ДопП							
206			синонимы						2	
			синонимы							
207			расщепленное дополнение						1	
208			Ксинонимы	синонимы				источник информации перед двоеточием	3	
209	синонимы, управ							источник информации перед двоеточием	2	
210	Лич--неолич	0--П				С, ДопП, ДопК--ДопК, С, ДопП			3	
211	Синонимы		Синонимы					РНК	4	
								имя		
212					кореференция		ЕдИзмер	приложение	3	
213	Синонимы		синонимы						2	
214			Синонимы					РНК	2	
215			синонимы, управ			ДопК, Об		О	3	
216								РНК	4	
	кСинонимы, управ				Синонимы			ОбМ		
217	:--Лич	Источник--П	ДопК--однородные ДопК					Огео	6	
	С--ДопК, управ	П--ДопП								
218		синонимы, управ	расщепленное дополнение			П, С		РНК	4	
219	конверсивы	П--ДопК			Огео--ОбМ				3	
220		метонимия							1	
221	конверсивы	П--ОбМ						О	5	
		П--ДопП						ДопК		
222	конверсивы	П--Допк, кореференция						источник информации перед двоеточием	3	
223						П, О			1	
224			аббр	О--НО					2	
225			расщепленное дополнение, синонимы		синонимы				2	
226	Лич--Неолич, конверсивы	П--ДопК	расщепленное дополнение, уточнение		ОбМ, уточнение локализации				4	
227				О--Ноген, аббр				РНК	2	
228	Лич--Неолич, конверсивы	Гипероним	синонимы		Огео--ОбМ				4	
229	конверсивы	0--П		Огео--НОгенГео				ОбВ	5	
		П--ДопП, гипероним								
230	Лич--Неолич, конверсивы	П--ДопП, гипероним	синонимы		Огео--ОбМ			однородное П	6	
			синонимы							
231		класс+название		Оприч--Ноген					2	
232		аббр				ДопП, Оприч		РНК	4	
								ОбО		
233			расщепленное дополнение, управ			П, С		ОбВ	4	
			полное название							
324			ИФ						1	
235	Ксинонимы, времяПБ, управ		ДопП--ОбО						3	
			ксинонимы							
236		класс+название	НО--ДопК, аббр					РНК	5	
								ОбМ		
								Оприч		
237	Синонимы, времяПН, управ	ИФ	расщепленное дополнение					приложение	4	
238	Лич--неолич, конверсивы, управ	0--П						О	3	
239		ИФ							1	
240	Ксинонимы, управ		синонимы		ДопК--ОбМ				3	
241	расщепл, времяПБ	0--П	синонимы					источник высказывания БСП2	4	
242		метонимия						регистр после :	5	
		управ	синонимы, управ					ДопК		
243		П--ОбМ						РНК	2	
244						П, С, Об			1	
245	Ксинонимы	синонимы, управ	ДопК--ОбП				Округл, ЭллипсЕдИзмер		4	
246					ОбО, сущ--дееприч	С, ОбО		ОбМ	4	
								однородное С		
247				О--Ноген					1	
248	:--Лич	Источник--П			ОбО--ОбВ, синонимы			О	6	
	Конверсивы, времяНБ	П--ДопК								
249	синонимы	кавычки		О--Ноген	ОбВ, уточнение времени	П, С, Об			5	
250			Ксинонимы		ОбМ, уточнение локализации	ОбМ			3	
251					ОбМ, уточнение локализации		формат		2	
252	Синонимы	П--ОбМ	число						3	
253	Синонимы							Источник информации перед двоеточием	2	
254	Лич--Безлич, расщепл	П--Ногенгео							3	
		метонимия								
255	времяПН								1	
256		Метонимия			ОбМ--Ногенгео			ДопК	3	
257			полное название					РНК	2	
258	расщепл, управ	Ксинонимы, управ			ОбМ--Ногенгео				4	
					ОбМ--Ногенгео					
259			метонимия					Источник информации перед двоеточием	6	
			Синонимы					О		
								однородное ДопП		
								Субстантивный эллипсис		
260	Синонимы, времяПН							О	2	
261	Синонимы, управ		ДопП--ОбМ						2	
262	Лич--Неолич, конверсивы	П--ДопП			ОбМ--Ногенгео			Источник информации перед двоеточием	5	
								адъективный эллипсис		
263		Метонимия, класс+название	расщепленное дополнение		Огео--ОбМ, уточнение локализации	П, С, ДопП		РНК	5	
264			аббр, кавычки			ДопП, Об			2	
265			Ксинонимы					ОбМ	3	
								Субстантивный эллипсис		
266	Конверсивы	П--ДопК			ОбМ, класс+название			РНК	4	
267			аббр					регистр после :	2	
268					ОбМ, класс+название	П, С, Об		О	3	
269		метонимия	Синонимы						2	
268			аббр						1	
271	Синонимы							ДопК	3	
								ОбМ		
272			Синонимы	Огео--НОгенГео				имя	3	
273	Ксинонимы, управ		Синонимы						3	
			ДопК--ПридУсл							
274	Синонимы, управ		ДопК--ПридИзъясн	Синонимы				источник информации перед двоеточием	5	
	С--ДопК									
275		П--ОбМ	синонимы		ОбМ, уточнение локализации				3	
276	лицо	Источник--П, метонимия	класс+название		синонимы				4	
277								О	1	
278	расщепл, времяПН							источник информации перед двоеточием	2	
279	ДУБЛЬ!!!!									
280	Конверсивы	П--ДопП			кавычки			РНК	5	
								Ноген		
281	Синонимы						ЕдИзмер		2	
282		ИФ	Сложносокращ					приложение	5	
								однородное ДопК		
								Ногенгео		
283		ИФ	Сложносокращ					НОгенгео	3	
284	конверсивы, управ	П--ДопК			ОбМ, уточнение локализации		ЭллипсЕдИзмер		5	
		П--ОбП								
285						П, С, ДопК			1	
286					Огео--ОбМ				1	
287					ОбМ, уточнение локализации	П, С, Об	Округл		3	
288	Ксинонимы	Синонимы					Ц\б	О	4	
289	времяПН, управ							РНК, НО	2	
290	Лич--Неолич, конверсивы	П--ДопП	метонимия		Огео--ОбМ			источник информации перед двоеточием	5	
291			расщепленное дополнение					неразрывный пробел	2	
290				Синонимы					1	
293		Синонимы	расщепленное дополнение						2	
294		Синонимы	Синонимы						2	
295	Лич--Неолич, конверсивы	П--ДопП				Об в начале--конце			3	
296	Конверсивы	П--ДопК			ОбМ--однородн сказуем			Источник информации перед двоеточием	5	
		П--ДопК								
297	Синонимы, управ		синонимы					Источник информации перед двоеточием	3	
298				Огео--Ногенгео				О	2	
299	Конверсивы	П--Ноген			ОбВ--ОбУ				4	
		П--ДопК								
300			кореференция			ДопП, С, ОбМ			2	
301			кореференция					О	2	
302	Конверсивы	П--ДОпП						ОбМ	3	
303						П, С, ДопК	Ц\б		2	
304	Синонимы		Сложносокращ			П, ПричОб			3	
305	Конверсивы	П--ДопП	регистр						4	
	С--ДопП, управ									
306	Лич--Неолич, конверсивы	П--ДопП, расщепл		Алфавит	ОбМ, уточнение локализации			источник информации перед двоеточием	5	
307	конверсивы, времяПН	П--ДопК, расщепл				Об в начале--конце		ОбМ	4	
308								О	1	
309	Ксинонимы, времяПН, управ	Метонимия							2	
310								приложение	1	
311	Лич--неолич, синонимы, расщепл, управ	П--ОбМ	часть речи, управ			О			4	
312		метонимия				П, С, ОбМ, ДопП, ОбМ2--П, С, ДопП, ОбМ		ОбО	4	
								ОбМ		
313	:--Лич, времяПН	Источник--П						О	5	
		П--ОбМ						ДопК		
314								НОгенГео	1	
315	вид	метонимия	метонимия						3	
316	времяПН	метонимия	метонимия						3	
317	конверсивы, управ	П--ДопП	ДопК--ОбМ						4	
			ДопК--О							
318	Синонимы, управ		ДопК--О		ОбМ--ДеепричОб				3	
319	Синонимы	Метонимия	расщепленное дополнение				Ц\б		4	
320	Синонимы, управ				синонимы			приложение	3	
321								Источник, алфавит	2	
								регистр после :		
322	Конверсивы	П--ДопК			ОбМ--БСП				3	
232								Субстантивный эллипсис	1	
324			Синонимы					ОбМ	3	
			ДопК--О							
325								ОбМ	1	
326		Источник--П							2	
		П--ДопК								
327			Синонимы					РНК	3	
								ОБП		
328			Синонимы						1	
329		П--ОбП						источник информации перед двоеточием	5	
		П--ДОпК						Субстантивный эллипсис		
		ДопК--ОбП								
330			метонимия						2	
			Синонимы							
331	Синонимы			аббр	ОбВ--НО, расщепл			Огео	5	
								ДопК		
332	времяПН		кавычки						2	
333	Синонимы, управ	кавычки	Метонимия				округл	РНК	5	
334	времяПН		регистр					ОбМ	3	
335			ИФ						1	
336		Кореференция						О	3	
								ДопК		
337	Конверсивы	Источник--П					ЕдИзмер	ОбМ	6	
		П--ДопП						ОбВ		
338		Кореференция							1	
339			гипероним	Огео--НОгенГео				О	4	
				синонимы						
340	:--БСП, метонимия							Ноген	2	
341	КСинонимы				расщепл			ОбО	6	
					ОбМ--Ногенгео			однородное С		
								источник информации перед двоеточием		
342	конверсивы, времяПН, управ				ОбМ--ПридОпред				2	
343	Синонимы				Огео--ОбМ				3	
					приложение, кавычки, алфавит					
344	Лич--неолич, синонимы					Огео при П--ОбМ		источник информации перед двоеточием	3	
345	лич--неолич, конверсивы, времяПН			Оприч--Ноген				источник информации перед двоеточием	3	
346	Лич--неолич	П--ОбМ, метонимия			синонимы		ЕдИзмер		4	
347	вид	метонимия			Кореференция				3	
348	Синонимы, управ		расщепленное дополнение, синонимы					ОбМ	3	
349	синонимы		синонимы					ОбМ	3	
350	Синонимы, времяПН		кавычки					Источник информации перед двоеточием	5	
			синонимы					ДопК		
351			ДопП--ОбО				ЭллипсЕдИзмер		2	
352		метонимия		синонимы					3	
								регистр после :		
353	Синонимы, управ	синонимы	ДопК, управ						4	
			метонимия							
354	расщепл, управ		управ, метонимия						2	
355								приложение	1	
356			синонимы			ДопП, ДопК		РНК	3	
357	Синонимы	П--ДопК							2	
358	Конверсивы	П--ОбП		Огео--Ногенгео					4	
		П--ДопП, метонимия								
359			синонимы						1	
360				приложение--Оприч					1	
361	синонимы, времяПН		расщепленное дополнение					источник информации перед двоеточием	3	
362	расщепл					П, С, ДопК		ОбВ	3	
363	расщепл		Синонимы	Огео--НОгенГео					3	
364	расщепл			Огео--НОгенГео					2	
365	конверсивы	П--ОбП						регистр после :	4	
		П--ДопК								
366		метонимия	ДопК--ОбМ, метонимия					источник информации перед двоеточием	5	
				О--Ноген, синонимы				О		
367	:--С		ДОпК--БСП2					допК	3	
368					синонимы				1	
369		Синонимы		Синонимы		однородные		Источник информации перед двоеточием	4	
370	Конверсивы	П--НО						источник информации перед двоеточием	6	
								Ногенгео		
		П--ДОпП						ДопК		
371	Синонимы, управ		ДопП--Ноген					ОбМ	4	
			часть речи, синонимы, управ							
372	Синонимы, управ		ДОпК--ОбО, синонимы				Округл		3	
373	С--ДопК	Источник--П						ОбО	4	
		П--ДопК								
374					ОбМ, уточнение локализации	П, С, Об	Ц\б		4	
					Синонимы					

Приложение 2. Скрипт для оценки близости пар заголовков в векторном пространстве
import codecs
import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')
import gensim
import numpy as np
import math

"""Подготовка корпуса для оценки
Входной файл примерно вот так выглядит: день_S, был_V, удачным_A PPP день_S, прошёл_V, удачно_ADV
' PPP ' делит предложения
для C Skip-Gram нужны тэги от mystem; для CBOW - universal POS tags
На выходе список векторов заголовков"""

def prepareCorpusForEvaluation(fname, model, vectorSize):
    f = codecs.open(fname, 'r', 'utf-8')
    for l in f:
        sents = l.split(' PPP ')
    f.close()
    sentences = []
    for sent in sents:
        sentences.append(sent.split(', '))
    corpusasvectors = []
    for s in sentences:
        summa = np.zeros(vectorSize)
        for w in s:
            summa += model[w]
        corpusasvectors.append(summa)
    return corpusasvectors

"""На выходе список значений косинусов между векторами предложений"""
def getListOfCloseness(corpusasvectors):
    results = []
    i = 0
    while i < len(corpusasvectors)-1:
      results.append(((corpusasvectors[i]*corpusasvectors[i+1]).sum())/(math.sqrt((corpusasvectors[i]**2).sum())*math.sqrt((corpusasvectors[i+1]**2).sum())))
        i += 2
    return results

"""CBOW"""
model = gensim.models.KeyedVectors.load_word2vec_format('news_0_300_2.bin.gz', binary=True)
corpusCBOW1 = prepareCorpusForEvaluation('pg1_final.txt', model, (1, 300))
listOfClosenessCBOW1 = getListOfCloseness(corpusCBOW1)
print('listCBOW1', listOfClosenessCBOW1)
halfCBOW1 = int(len(listOfClosenessCBOW1)/2)
trainCBOW1 = listOfClosenessCBOW1[:halfCBOW1]
print('trainCBOW1', trainCBOW1)
trainCBOW1.sort()
print('trainCBOW1_sort', trainCBOW1)
print('max', max(trainCBOW1))
print('min', min(trainCBOW1))
testCBOW1 = listOfClosenessCBOW1[halfCBOW1:]
corpusCBOW0 = prepareCorpusForEvaluation('pg-1_final.txt', model, (1, 300))
listOfClosenessCBOW0 = getListOfCloseness(corpusCBOW0)
print('listCBOW0', listOfClosenessCBOW0)
halfCBOW0 = int(len(listOfClosenessCBOW0)/2)
trainCBOW0 = listOfClosenessCBOW0[:halfCBOW0]
print('trainCBOW0', trainCBOW0)
trainCBOW0.sort()
print('trainCBOW0_sort', trainCBOW0)
print('max', max(trainCBOW0))
print('min', min(trainCBOW0))
testCBOW0 = listOfClosenessCBOW0[halfCBOW0:]
testCBOW = []
testCBOW.extend((i, 1) for i in testCBOW1)
testCBOW.extend((i, 0) for i in testCBOW0)
testCBOW.sort()
print('testCBOW_sort', testCBOW)

"""C Skip-Gram"""
model = gensim.models.KeyedVectors.load_word2vec_format('news_rusvectores2.bin.gz', binary=True)
corpusCSG1 = prepareCorpusForEvaluation('pg1.txt', model, (1, 1000))
listOfClosenessCBOW1 = getListOfCloseness(corpusCBOW1)

print('listCSG1', listOfClosenessCSG1)
halfCSG1 = int(len(listOfClosenessCSG1)/2)
trainCSG1 = listOfClosenessCSG1[:halfCSG1]
print('trainCSG1', trainCSG1)
trainCSG1.sort()
print('trainCSG1_sort', trainCSG1)
print('max', max(trainCSG1))
print('min', min(trainCSG1))
testCSG1 = listOfClosenessCSG1[halfCSG1:]
corpusCSG0 = prepareCorpusForEvaluation('pg-1.txt', model, (1, 1000))
listOfClosenessCSG0 = getListOfCloseness(corpusCSG0)
print('listCSG0', listOfClosenessCSG0)
halfCSG0 = int(len(listOfClosenessCSG0)/2)
trainCSG0 = listOfClosenessCSG0[:halfCSG0]
print('trainCSG0', trainCSG0)
trainCSG0.sort()
print('trainCSG0_sort', trainCSG0)
print('max', max(trainCSG0))
print('min', min(trainCSG0))
testCSG0 = listOfClosenessCSG0[halfCSG0:]
testCSG = []
testCSG.extend((i, 1) for i in testCSG1)
testCSG.extend((i, 0) for i in testCSG0)
testCSG.sort()
print('testCSG_sort', testCSG)

Приложение 3. Нераспознанные парафразы	
189	Барак Обама завел личный Twitter - Обама завел аккаунт в Twitter
191	Ночные волки подадут в суд на власти Польши - «Ночные волки» решили судиться с польскими властями
198	Рада дала кабмину Украины право ввести мораторий на выплату долга России - Рада разрешила правительству Украины забыть о долгах перед Россией
205	Порошенко считает, что вернуть Донбасс военным методом не получится - Порошенко признал невозможность вернуть Донбасс военными средствами
206	Главу Минфина Ингушетии заподозрили в нецелевом расходовании денег - Министра финансов Ингушетии заподозрили в растрате
209	СМИ: карикатуристу Charlie Hebdo запретили въезд в Никарагуа - Карикатуристу Charlie Hebdo отказали во въезде в Никарагуа
211	Бывшего руководителя РКК «Энергия» отправили под домашний арест - Экс-главу РКК "Энергия" Лопоту заключили под домашний арест
212	Глава СК Бастрыкин за год заработал 7,5 миллиона рублей - Бастрыкин в 2014 году заработал 7,5 млн руб.
217	Нарышкин: вопрос южных Курил может препятствовать отношениям с Японией - Нарышкин назвал вопрос Курил раздражителем в отношениях России и Японии
221	Эквадор провел международный день против загрязнения компанией Chevron - День против загрязнения территории компанией Chevron прошел в Эквадоре
222	СМИ: брат лидера КНДР замечен на концерте Эрика Клэптона в Лондоне - Брата Ким Чен Ына увидели на концерте Эрика Клэптона в Лондоне
228	Арестованы земли, дом, машина и деньги главы петербургского метро - В Петербурге арестовали имущество и деньги начальника метро
229	Арестованы земли, дом, машина и деньги главы петербургского метро - СК после обысков арестовал деньги и имущество главы метро Петербурга
230	Арестованы земли, дом, машина и деньги главы петербургского метро - В Петербурге арестовали недвижимость и машины начальника метрополитена
233	Работа комиссии по "Прогрессу М-27М" продлена на неопределенный срок - Продлена работа комиссии по расследованию причин аварии "Прогресса"
235	Минобороны протянет к военным в Приднестровье «воздушный мост» - Минобороны пообещало снабжать миротворцев в Приднестровье по воздуху
237	Миллиардер Сорос пророчит новую мировую войну - Джордж Сорос предупредил об опасности новой мировой войны
238	Депутатам разрешили обходиться без присяги на верность Родине - ГД не стала вводить обязательную присягу депутатов на верность Родине
240	США вывели из-под санкций бесплатные интернет-сервисы в Крыму - США разблокировали для Крыма доступ к бесплатным веб-сервисам
249	День тишины настал в Польше в канун второго тура выборов президента - В Польше начался "день тишины" перед президентскими выборами
258	Представитель Швеции стал победителем "Евровидения-2015" - 	Певец из Швеции победил на "Евровидении-2015"
263	Украинские "Тени" взяли на себя ответственность за убийство Мозгового - Убийство Мозгового в Донбассе взяли на себя партизаны группы «Тени»
266	В соцсети "ВКонтакте" появилась страница патриарха Кирилла - Патриарх Кирилл зарегистрировался во «ВКонтакте»
273	Губернатору Антверпена угрожают смертью, если он не примет ислам - Бургомистру Антверпена предложили выбрать между исламом и смертью
274	СМИ: немецкий депутат заявил, что ему отказали во въезде в России - Германский депутат пожаловался на отказ во въезде в Россию
276	Иран ожидает поставок российских ЗРК С-300 в самое ближайшее время - МИД Ирана: Ожидаем поставок российских С-300 при первой возможности
282	Экс-глава Тамбовской области Бетин назначен замминистра ЖКХ России - Олег Бетин назначен заместителем министра строительства и ЖКХ	
284	Число погибших в результате торнадо в Мексике увеличилось до 13 - Торнадо на севере Мексики унес жизни 13 человек
288	Работники лондонской Национальной галереи начнут 10-дневную забастовку - Сотрудники лондонской галереи проведут десятидневную забастовку
294	ЦБ запретил «Росгосстраху» продавать полисы ОСАГО - Банк России запретил «Росгосстраху» заключать договора ОСАГО
296	ВПК: Россия построит для Ирана новые С-300, а не возьмет из наличия - Иран получит от России новые С-300 прямо с завода
299	СМИ: ИГ выделяет своим боевикам по 500 долларов в случае женитьбы - СМИ: Боевики "ИГ" получают после свадьбы по 500 долларов 
309	Доллар тестирует уровень в 51 рубль впервые за две недели - Биржевой курс доллара поднялся выше 51 руб. впервые за две недели
318	Марадона заявил, что наслаждался, наблюдая за арестами чиновников ФИФА - Марадона позлорадствовал в адрес арестованных чиновников ФИФА
320	Рик Санторум стал еще одним кандидатом-республиканцем в президенты США - Рик Санторум решил баллотироваться на пост президента США
326	Путин: странно, что аресты чиновников ФИФА произведены по запросу США - Путин прокомментировал роль США в арестах чиновников ФИФА
331	СК России завел дело после обстрела донецкой Горловки силовиками - СК РФ возбудил дело по факту обстрела Горловки 
337	Ткачев: урожай зерновых в РФ в 2015 году составит минимум 100 млн тонн - Ткачев пообещал собрать 100 миллионов тонн зерна
339	В Кремле поблагодарили пограничников ДФО за сохранение редких животных - В Кремле дальневосточных пограничников поблагодарили за охрану тигров
341	Нетрезвый байкер пробил стекло и въехал в здание аэропорта в Екатеринбурге - СМИ: пьяный байкер ворвался на мотоцикле в аэропорт Екатеринбурга
345	СМИ: принадлежавшее Майклу Джексону ранчо продается за $100 миллионов - Ранчо Майкла Джексона выставили на продажу за 100 миллионов долларов
348	Чалый назвал выдачу земли «Ночным волкам» «нарушение здравого смысла» - Чалый усомнился в адекватности решения о передаче «Ночным волкам» земли в Крыму
349	Греф остался президентом Сбербанка - Греф переизбран главой Сбербанка на третий срок
350	Источник: Франция ставит перед РФ неприемлемые условия по "Мистралям" - На переговорах о «Мистралях» Франция выдвинула «неприемлемые условия»
353	Власти России решили облегчить миграционный режим для граждан Киргизии - Правительство России одобрило облегчение миграционного режима с Киргизией
366	СМИ: Россия передала ЕС свой санкционный "черный список" - МИД России передал в представительство ЕС список персон нон грата
371	Саркози раскритиковал Олланда за отказ от посещения Парада Победы - Саркози осудил отказ Олланда приехать в Москву на День Победы
373	Пушков: Саакашвили в Грузии мог бы возглавить колонну заключенных - Пушков заявил о способности Саакашвили возглавить только колонну заключенных
339	В Кремле поблагодарили пограничников ДФО за сохранение редких животных - В Кремле дальневосточных пограничников поблагодарили за охрану тигров
341	Нетрезвый байкер пробил стекло и въехал в здание аэропорта в Екатеринбурге - СМИ: пьяный байкер ворвался на мотоцикле в аэропорт Екатеринбурга	

Приложение 4. Не-парафразы, классифицированные как парафразы
1.	Госдума может лишить мандата осужденного депутата от КПРФ Ширшова - Госдума лишила мандата осужденного депутата от КПРФ
2.	Восемь человек погибли в столкновении поезда и трактора в Индии - В результате столкновения поезда и трактора в Индии погибли 10 человек
3.	СМИ: новый фигурант появился в деле об убийстве Немцова - Адвокат опроверг появление нового фигуранта в деле об убийстве Немцова
4.	Полина Гагарина выступила в финале "Евровидения-2015" - Гагарина боялась выступать в финале «Евровидения»
5.	Лавров заявил, что на встрече с Могерини обсудит отношения России и ЕС - Сергей Лавров и Федерика Могерини обсудили отношения РФ с ЕС
6.	Чемпион мира по каратэ пропал в Новосибирске - Пропавший в Новосибирске чемпион мира по каратэ найден мертвым
7.	Матвиенко поддерживает возможность переноса выборов в Госдуму - Нарышкин поддержал перенос выборов в Госдуму
8.	Путин подписал закон о "нежелательных" иностранных организациях в РФ - Путин разрешил закрывать нежелательные организации
9.	МЧС России отправило 28-ю колонну с гуманитарной помощью в Донбасс - Гуманитарная колонна МЧС России прибыла в Донбасс
10.	Водитель, сбивший байкера в Москве, задержан следствием - Следствие попросило арестовать сбившего байкера водителя BMW
11.	Официальный курс евро составил 56,10 рубля - Официальный курс доллара упал к 49 рублям
12.	МВД РФ планирует предъявить обвинение в мошенничестве Полонскому - Полонскому предъявили обвинение в мошенничестве
13.	СМИ: В деле Немцова появился новый фигурант - Адвокат опроверг появление нового фигуранта в деле об убийстве Немцова
14.	Суд засекретил аресты по делу о вымогательстве в «Матросской тишине» - Арестованы шестеро фигурантов дела о вымогательстве в «Матросской тишине»
15.	Боевики ИГ казнили 400 человек в городе Пальмира в Сирии - Боевики "ИГ" казнили в Хомсе 217 человек за девять дней
16.	Фонд «Династия» Дмитрия Зимина включен в список «иностранных агентов» - Кудрин раскритиковал включение в список иностранных агентов фонда «Династия»
17.	Чемпион мира по каратэ пропал в Новосибирске - В Новосибирске чемпион мира по каратэ найден мертвым
18.	Число жертв оползня на северо-западе Колумбии возросло до 40 человек - Число жертв оползня в Колумбии достигло 60
19.	Суд засекретил аресты по делу о вымогательстве в «Матросской тишине» - Сотрудники «Матросской тишины» арестованы по делу о вымогательстве
20.	МИД: РФ будет добиваться освобождения задержанных на Украине россиян - МИД РФ: Задержанные на Украине россияне чувствуют себя хорошо
21.	США не комментируют переизбрание Блаттера президентом ФИФА - Путин поздравил Блаттера с переизбранием на пост президента ФИФА
22.	Сборная России по хоккею вернулась в Москву с чемпионата мира - Болельщики проигнорировали возвращение сборной России с чемпионата мира
23.	Генпрокурор США: чиновники ФИФА получили взятки за проведение ЧМ в ЮАР - Генпрокурор США назвала сумму полученных ФИФА взяток
24.	Лидер "Ночных волков" вызвал главу заксобрания Севастополя на дуэль - «Народный мэр» Севастополя отказался от дуэли с лидером «Ночных волков»
25.	Госдеп раскритиковал российский закон о нежелательных организациях - Алексеева раскритиковала закон о нежелательных организациях
26.	Биржевой курс доллара упал ниже 49 руб. - Курс евро упал ниже 55 рублей впервые за месяц
27.	Число жертв оползня на северо-западе Колумбии возросло до 40 человек - Более 45 человек погибли под оползнем на северо-западе Колумбии
28.	Украинские силовики сообщили о гибели трех военных за сутки в Донбассе - Украинские власти сообщили о задержании двоих российских военных в Донбассе
29.	Саакашвили может стать губернатором Одесской области Украины - Порошенко назначил Саакашвили губернатором Одесской области
30.	Банк России с 20 мая отозвал лицензию у московского ПроБанка - ЦБ отозвал лицензии у двух московских банков
31.	Минюст внес в список иностранных агентов НКО фонд "Династия" - Кудрин раскритиковал включение в список иностранных агентов фонда «Династия»
32.	СМИ: Йозеф Блаттер является фаворитом на выборах президента ФИФА - Зепп Блаттер переизбран президентом ФИФА
33.	Землетрясение магнитудой 5,3 произошло у берегов Эквадора - В Японии произошло землетрясение магнитудой 8,5
34.	В Донецке возобновились обстрелы, погиб один человек - При обстреле Донецка погиб мирный житель
35.	Еxit poll: "Народная партия" победила на выборах в Испании - Правящая в Испании партия побеждает на выборах с худшим результатом
36.	Число жертв жары на юге Индии превысило 150 человек - В Индии жертвами аномальной жары стали 335 человек
37.	Бывшему спикеру палаты представителей США пригрозили тюрьмой - Бывшего спикера Палаты представителей США обвинили во лжи агентам ФБР
38.	СМИ: Йозеф Блаттер является фаворитом на выборах президента ФИФА - Блаттер рассказал о медитации на выборах президента ФИФА
39.	Венедиктов сожалеет об уходе Корзуна с радиостанции "Эхо Москвы" - Венедиктов закрыл передачу Корзуна на «Эхе Москвы»
40.	В Петербурге эвакуируют из торговых центров УК - В Петербурге из-за "бомб" эвакуировали пять торговых центров
41.	Владимир Путин поздравил пограничников с профессиональным праздником - Рогозин поздравил пограничников с профессиональным праздником
42.	В декларации "Восточного партнерства" призвали к выполнению Минска-2 - Минск поддержал декларацию «Восточного партнерства» с «оговоркой»
43.	ФМС: иностранцы за 1,5 года просят об убежище в России в 100 раз чаще - ФМС: Более 500 украинцев ежедневно просят об убежище в России
44.	УЕФА попросил о переносе выборов президента ФИФА - РФС поддержит Блаттера на выборах президента ФИФА
45.	Самолет МЧС России доставит в Сирию гуманитарную помощь - Грузовики с гуманитарной помощью МЧС России отправилась в Донбасс
46.	В Британии произошло землетрясение магнитудой 4,2 - У Соломоновых островов произошло землетрясение магнитудой 6,9
47.	Минфин отказался ограничивать страховые выплаты по вкладам - Минфин изучает идеи Грефа об ограничении страховых выплат по вкладам
48.	Россия отправит в Донбасс 28-ю колонну с гуманитарной помощью - Гуманитарная колонна МЧС России прибыла в Донбасс
49.	Бывшего руководителя РКК «Энергия» отправили под домашний арест - Бывшего брянского губернатора отправили под домашний арест
50.	МВД РФ планирует предъявить обвинение в мошенничестве Полонскому - Полонскому предъявлено обвинение в особо крупном мошенничестве
51.	Киев сообщил посольству РФ, что доступ к арестованным россиянам дадут - В посольстве РФ в Киеве рассказали о состоянии задержанных россиян
52.	При крушении легкомоторнгого самолета в Техасе погибли 3 человека - На Ставрополье два человека пострадали при крушении самолета
53.	Шарапова уверена, что финальный матч турнира в Риме будет непростым - Шарапова выиграла турнир в Риме
54.	Австралия будет голосовать за Аль-Хусейна на выборах президента ФИФА - Голосование на выборах президента ФИФА будет тайным
55.	СК предъявил обвинение экс-губернатору Брянской области - Брянский экс-губернатор отверг обвинения в коррупции
56.	Маркин за 2014 год заработал чуть более 6,8 миллиона рублей - Набиуллина заработала за год почти 22 миллиона рублей
57.	12 россиян пострадали от удара молнии в Кносский дворец на Крите - Кносский дворец на Крите закрыли после ЧП с молнией
58.	Генсек НАТО призвал Россию к большей прозрачности с военными учениями - Генсек НАТО призвал Россию вывести войска и вооружения с Украины
59.	В Кремле не стали комментировать аресты чиновников ФИФА - Путин прокомментировал роль США в арестах чиновников ФИФА
60.	Банк России отозвал лицензию у череповецкого банка "Бумеранг" -ЦБ отозвал лицензии у двух московских банков
61.	Землетрясение магнитудой 5,3 произошло у берегов Эквадора - У берегов Японии произошло мощное землетрясение
62.	Россия разгромила США и вышла в финал чемпионата мира по хоккею - Сборная США стала бронзовым призером чемпионата мира по хоккею
63.	ЦУП приступил к повторной попытке коррекции орбиты МКС - ЦУП со второй попытки успешно скорректировал орбиту МКС
64.	Платини: Аль-Хусейн - отличный кандидат на пост президента ФИФА - Кэмерон выступил за отставку Блаттера с поста президента ФИФА
65.	Президент ФИФА Блаттер переизбран на пятый срок - Путин поздравил Блаттера с переизбранием на пост президента ФИФА
66.	Путин о скандале в ФИФА и ЧМ-2018: нас это не касается - Путин прокомментировал скандал в ФИФА
67.	Колосков: скандал не повлияет на выборы президента ФИФА - СМИ: Йозеф Блаттер является фаворитом на выборах президента ФИФА
68.	Десять человек погибли в Мексике в результате торнадо - Не менее восьми человек погибли в результате наводнения в США
69.	Дональд Туск поздравил Дуду с победой на выборах президента Польши - Путин поздравил Дуду с избранием на пост президента Польши
70.	Зепп Блаттер переизбран президентом ФИФА - Блаттер рассказал о медитации на выборах президента ФИФА
71.	ЦБ: полисы ОСАГО, проданные "Росгосстрахом" после запрета, нелегитимны - Росгосстрах прекратил продажу новых полисов ОСАГО
72.	СМИ: Россия передала ЕС свой санкционный "черный список" - Финские СМИ узнали о «черном списке» России из 89 европейцев
73.	Песков: Кремль не является частью дискуссии о переносе выборов в ГД - Кремль и Госдума подтвердили начало дискуссии о переносе выборов
74.	США не комментируют переизбрание Блаттера президентом ФИФА - Блаттер рассказал о медитации на выборах президента ФИФА
75.	Исполком УЕФА обсудит предложение о переносе выборов президента ФИФА - РФС поддержит Блаттера на выборах президента ФИФА
76.	ЦБ: полисы ОСАГО, проданные "Росгосстрахом" после запрета, нелегитимны - «Росгосстрах» приостановил продажи в России новых полисов ОСАГО
77.	Канада разгромила сборную России в финале ЧМ по хоккею -Сборная России по хоккею вернулась в Москву с чемпионата мира
78.	РФ пока не будет подавать иск к Украине из-за двигателей для фрегатов - Россия подготовила иск к Украине за непоставку корабельных двигателей