Fuzzing tools investigation for unit test generation in Java

Abstract

На данный момент создано множество программных продуктов, и их количество продолжает расти. Исходный код этих продуктов насчитывает миллионы строк кода. Для обнаружения дефектов на ранних стадиях разработки используются модульные тесты для анализа отдельных фрагментов кода. Но из-за объёма и сложности кода эти тесты достаточно трудоёмко писать и поддерживать в актуальном состоянии. Поэтому применяются средства для автоматизации генерации тестов. Однако существующие инструменты не дают максимальное покрытие кода, и этот показатель может быть улучшен. В данной работе для улучшения покрытия рассматривается идея комбинирования уже существующих инструментов генерации модульных тестов и процесса фаззинга. В рамках работы создана система, совмещающая инструменты генерации и фаззинга, она интегрирована в плагин для платформы IntelliJ IDEA для практического использования, а также в инфраструктуру Java Unit Testing Tool Competition. Также в процессе работы было проведено экспериментальное исследование, позволяющее судить о перспективности выбранного направления исследований.

A lot of software products have been created at this time, and their amount continues to grow. The source code of these products counts millions of lines of code. Unit tests are used to analyze individual code fragments in order to detect defects and bugs in the early stages of development. But due to the volume and complexity of the source code, it is quite time-consuming to write these tests and keep them up to the date. Therefore, tools are utilized for automated test generation. However, existing tools do not provide maximum code coverage, and this factor can be improved. In order to do that, this work proposes a new approach for test generation, which combines existing unit-test generating tools and fuzzing processes. As part of the work, the new framework, which employs this approach, is developed. This framework is integrated into the plug-in for the IntelliJ IDEA platform for practical use, as well as into the infrastructure of the Java Unit Testing Tool Competition.