LiDAR point cloud segmentation based on image segmentation

Abstract

Для беспилотной навигации важной задачей является сегментация объектов в лидарных облаках. Для этого используются нейронные сети, которым необходимы большие объемы сегментированных данных для обучения, основной поставщик которых - дорогостоящая ручная разметка. Разметчики работают с плотными облаками, на обработку которых большинство существующих алгоритмов не направлены. Беспилотные автомобили также оснащены камерами, в автоматической разметке снимков которых достигнуты близкие к истинной сегментации результаты. В данной работе предлагается алгоритм сегментации плотных лидарных облаков на основе разметки изображений, которая используется как первичное предсказание сегментации. После выполнения многоступенчатой обработки проводится кластеризация алгоритмом GraphCut. Экспериментальное исследование, проведенное на наборе данных KITTI, показывает превосходство разработанного алгоритма над аналогами, которые не используют снимки камеры, в точности и полноте разметки.

For autonomous driving, an important task is the segmentation of objects in LiDAR point clouds. For this purpose, neural networks are used, which require large volumes of segmented data for training, the main source of which is expensive manual segmentation. Annotators work with dense clouds, which most existing algorithms are not designed to process. Self-driving cars are also equipped with cameras, whose automatic image segmentation has achieved close to ground truth. This paper proposes a dense LiDAR point cloud segmentation algorithm based on image segmentation, which is used as the primary segmentation prediction. After performing multi-stage processing, clusters are generated using GraphCut algorithm. Experiments conducted on the KITTI dataset show the superiority of the developed algorithm over analogues that do not use camera images in accuracy and completeness of the segmentation.