Классификация и оценка геометрических параметров сложных поверхностей по RGB-D изображениям
Аннотация
При разработке систем управления формациями модульных робототехнических систем (РС) актуальной является задача классификации и оценки геометрических параметров сложных поверхностей. Для решения соответствующей задачи в работе был предложен авторский подход, отличающийся возможностью извлечения геометрических характеристик исследуемых поверхностей. Данный подход основан на применении камеры глубины Intel RealSense D435, реализующей оценку расстояний от объектива камеры до участков сцены в метрических единицах, предобученной сегментационной нейросетевой модели HRNet, осуществляющей выделение на изображении целевого участка сложной поверхности, а также ряде аналитических алгоритмов, реализующих оценку ключевых параметров поверхностей и классификацию сложных поверхностей, представляющих отдельные участки рельефа, на основе их геометрических характеристик. Апробация и оценка качества предложенного подхода производилась на основании тестового набора данных, включающего в себя 4500 изображений. Данный набор данных включает в себя изображения сцен — помещений, содержащих как минимум одну поверхность, по которой РС предстоит осуществлять движение. Усредненные показатели точности (accuracy, recall, precision) классификации по углу наклона и по типу перепадов высот для соответствующего набора данных составили {0.74, 0.68, 0.67} и {0.76, 0.68, 0,74} соответственно, при этом усредненная доля корректно классифицированных поверхностей по обоим классификациям составила 62,6 %. Согласно результатам проведенного тестирования, предложенное решение позволяет успешно классифицировать различные поверхности по типу угла наклона и по типу перепадов высот, а также осуществлять оценку геометрических параметров сложных поверхностей по RGB-D изображениям.
Скачивания
Литература
2. Ebadi F. and Norouzi M. (2017) Road Terrain detection and Classification algorithm based on the Color Feature extraction. Artificial Intelligence and Robotics. P. 139–146. Available from: DOI
3. Shill J. J., Collins Jr E. G., Coyle E. and Clark J. (2015) Tactile surface classification for limbed robots using a pressure sensitive robot skin. Bioinspiration & biomimetics. 10(1). 016012.
4. Kertész C. (2016). Rigidity-based surface recognition for a domestic legged robot. Robotics and automation letters. 1(1). P. 309–315. Available from: DOI
5. Mrva J. and Faigl J. (2015). Feature Extraction for Terrain Classification with Crawling Robots. In ITAT. P. 179–185.
6. Jamiruddin R. [et al.] (2018) RGB-depth SLAM review. arXiv preprint arXiv:1805.07696.
7. Tao A., Sapra K. and Catanzaro B. (2020). Hierarchical multi-scale attention for semantic segmentation. arXiv preprint arXiv:2005.10821.
8. Yu C. [et al.] (2020) Context Prior for Scene Segmentation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. P. 12416–12425.
9. Rubtsova J. (2022). Approach to Image-Based Segmentation of Complex Surfaces Using Machine Learning Tools During Motion of Mobile Robots. In Electromechanics and Robotics. P. 191–200. Available from: DOI
10. Grady L. (2006). Random walks for image segmentation. IEEE transactions on pattern analysis and machine intelligence. 28(11). Available from: DOI
11. Ohlander R., Price K. and Reddy D. R. (1978). Picture segmentation using a recursive region splitting method. Computer Graphics and Image Processing. 8(3). P. 313–333. Available from: DOI
12. Wu Z. and Leahy R. (1993). An optimal graph theoretic approach to data clustering: Theory and its application to image segmentation. IEEE transactions on pattern analysis and machine intelligence. 15(11). P. 1101–1113. Available from: DOI
13. He K. [et al.] (2017). Mask r-cnn. In Proceedings of the IEEE Conference on Computer Vision. P. 2961–2969.
14. Zhang Z. (2012). Microsoft kinect sensor and its effect. IEEE multimedia. 19(2). P. 4–10. Available from: DOI
15. Fernald F. G. (1984) Analysis of atmospheric lidar observations: some comments. Applied optics. V. 23, No 5. P. 652–653. Available from: DOI
16. Keselman L., Iselin Woodfill J., Grunnet-Jepsen A. and Bhowmik A. (2017). Intel realsense stereoscopic depth cameras. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. P. 1–10.
17. Karsch K., Liu C. and Kang S. B. (2012, October). Depth extraction from video using non-parametric sampling. In European conference on computer vision. P. 775–788. Available from: DOI
18. Eigen D. and Fergus R. (2015). Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture. In Proceedings of the IEEE international conference on computer vision. P. 2650–2658.
19. Laina I., Rupprecht C., Belagiannis V., Tombari F. and Navab N. (2016, October). Deeper depth prediction with fully convolutional residual networks. In 2016 Fourth international conference on 3D vision (3DV). P. 239–248. Available from: DOI
20. Devernay F. and Faugeras O. D. (1995, September). Automatic calibration and removal of distortion from scenes of structured environments. In Investigative and Trial Image Processing. (2567). P. 62–72, Available from: DOI
21. Izmailov A. F. and Solodov M. V. (2003) Chislenny`e metody` optimizacii [Numerical optimization models]. Moscow. (in Russian)
22. Gladkov L. A., Kurejchik V. V. and Kurejchik V. M. (2010) Geneticheskie algoritmy` [Genetic algorithms]. Moscow. (in Russian)
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
