Классификация и оценка геометрических параметров сложных поверхностей по RGB-D изображениям

Аннотация

При разработке систем управления формациями модульных робототехнических систем (РС) актуальной является задача классификации и оценки геометрических параметров сложных поверхностей. Для решения соответствующей задачи в работе был предложен авторский подход, отличающийся возможностью извлечения геометрических характеристик исследуемых поверхностей. Данный подход основан на применении камеры глубины Intel RealSense D435, реализующей оценку расстояний от объектива камеры до участков сцены в метрических единицах, предобученной сегментационной нейросетевой модели HRNet, осуществляющей выделение на изображении целевого участка сложной поверхности, а также ряде аналитических алгоритмов, реализующих оценку ключевых параметров поверхностей и классификацию сложных поверхностей, представляющих отдельные участки рельефа, на основе их геометрических характеристик. Апробация и оценка качества предложенного подхода производилась на основании тестового набора данных, включающего в себя 4500 изображений. Данный набор данных включает в себя изображения сцен — помещений, содержащих как минимум одну поверхность, по которой РС предстоит осуществлять движение. Усредненные показатели точности (accuracy, recall, precision) классификации по углу наклона и по типу перепадов высот для соответствующего набора данных составили {0.74, 0.68, 0.67} и {0.76, 0.68, 0,74} соответственно, при этом усредненная доля корректно классифицированных поверхностей по обоим классификациям составила 62,6 %. Согласно результатам проведенного тестирования, предложенное решение позволяет успешно классифицировать различные поверхности по типу угла наклона и по типу перепадов высот, а также осуществлять оценку геометрических параметров сложных поверхностей по RGB-D изображениям.