Development of neuro-fuzzy racing car control system in TORCS simulator

Abstract

В последнее время был достигнут значительный прогресс в области глубоких нейронных сетей. К сожалению, каждый метод мягких вычислений, в том числе нейронные сети, имеет ограничения. В данной работе были применена гибридная система, объединяющая теорию искусственных нейронных сетей и аппарат нечёткой логики, для создания контроллера гоночного автомобиля в среде симулятора TORCS. Контроллер имеет модульную архитектуру: модуль желаемой скорости и модуль управления рулевым колесом представляют собой нечёткие системы, оптимизированные с использованием адаптивной нейро-нечёткой системы вывода, или ANFIS, на данных, полученных с контроллеров GRNDriver и Autopia. Модуль поддержания оптимальной скорости, а также модуль переключения передачи не являются нечёткими. В процессе создания контроллера была написана и выложена в открытый доступ библиотека на языке Python, упрощающая разработку контроллеров для версии TORCS с патчем SCR, а также промежуточное программное обеспечение, позволяющее собирать данные о заездах с произвольных контроллеров. Разработанный контроллер продемонстрировал неплохие результаты на всех заездах, опередив на некоторых трассах как контроллер GRNDriver, так и контроллер Autopia, а также заметно опередив базовый нечёткий контроллер на всех трассах. Тем не менее в дальнейшем для разработки контроллера было решено использовать иные архитектуры нейро-нечётких систем, либо применить обучение с подкреплением к архитектуре ANFIS.

Recently, significant progress has been made in the field of deep neural networks. Unfortunately, every method of soft computing, including neural networks, has its limitations. In this work, a hybrid system that combines the theory of artificial neural networks and a fuzzy logic apparatus was used in order to create a racing car controller in the TORCS simulator. The developed controller has a modular architecture: the desired speed module and the steering wheel control module are fuzzy systems that were optimized using the adaptive neuro-fuzzy inference system, or ANFIS, on data received from the GRNDriver and Autopia controllers. The speed control module as well as the gear shift module are not fuzzy. During the development of the controller, a library in Python language that simplifies the development of controllers for the TORCS version with the SCR patch was written and made publicly available. Additionally, a middleware that automates data collection from arbitrary controllers was developed. The developed controller showed fair results on all tracks, occasionally outperforming both the GRNDriver controller and the Autopia one, and significantly surpassing a basic fuzzy controller. Nevertheless, in the future, for the development of the controller, it was decided to use other architectures of neuro-fuzzy systems, or to apply reinforcement learning to the ANFIS architecture.