Development of a robot on the base of multi-sensor synthesis for artifact collection in precision agriculture

Abstract

В контексте умного сельского хозяйства адаптивное восприятие среды аграрными роботами является ключевой функцией для их автономной и стабильной работы. В сложных и изменяющихся условиях важно эффективно и своевременно реализовать автономную сегментацию среды, распознавание и классификацию сельскохозяйственных культур, что способствует автоматизации и повышению урожайности. Однако системы, основанные на одном типе датчиков, имеют низкую устойчивость и не могут адаптироваться к сложным условиям, так как данные с камер, лидаров или IMU могут деградировать. Поэтому интеграция данных с различных датчиков повышает устойчивость роботизированных систем и их адаптивность. Для решения вышеупомянутых проблем в данной работе разработано и создано комплексное решение для системы восприятия окружающей среды аграрными роботами. Это решение включает в себя создание аппаратно-программной платформы для датчиков, калибровку и коррекцию искажений данных датчиков, а также разработку механического захватного устройства для захвата датчиков почвы, что повышает уровень автоматизации системы. Кроме того, в данной работе предложен метод распознавания и классификации различных растений на основе усовершенствованного алгоритма нейронных сетей. Экспериментальная проверка и детальный анализ на общедоступных наборах данных, а также сравнение с различными алгоритмами, показали, что предложенный в данной работе алгоритм обладает значительными преимуществами, обеспечивая высокую точность распознавания и высокую устойчивость.

In the context of smart agriculture, adaptive perception of the environment by agricultural robots is a key function for their autonomous and stable operation. In complex and changing environments, it is important to implement autonomous environment segmentation, crop recognition and classification in an efficient and timely manner to facilitate automation and increase crop yields. However, systems based on a single type of sensor have low robustness and cannot adapt to complex conditions, as data from cameras, lidars or IMUs can degrade. Therefore, integrating data from different sensors increases the robustness of robotic systems and their adaptability. To overcome the aforementioned problems, this paper designs and develops a comprehensive solution for an environmental perception system for agricultural robots. This solution includes the development of a hardware and software platform for sensors, calibration and distortion correction of sensor data, and the development of a mechanical gripper to grasp soil sensors, which increases the automation level of the system. In addition, this paper proposes a method for recognizing and classifying different plants based on an improved neural network algorithm. Experimental validation and detailed analysis on publicly available datasets, as well as comparison with different algorithms, showed that the algorithm proposed in this paper has significant advantages, providing high recognition accuracy and high robustness.