Метод синтеза сложных погодных условий на изображениях для аугментации данных при обучении моделей компьютерного зрения
Аннотация
В данной работе проведены исследование и реализация метода аугментации данных для повышения производительности моделей компьютерного зрения при работе в условиях затруднённой видимости. В частности, рассмотрен метод моделирования эффекта тумана на изображениях дорожных сцен. Проведён анализ возможных подходов к оценке трёхмерной структуры сцены для получения карты глубины, показывающей степень отдалённости объектов сцены от камеры. Рассмотрен принцип работы нейросетевой модели оценки глубины на основании одного изображения, а также приведены другие способы решения задачи получения информации о трёхмерной структуре изображения. Разработан алгоритм синтеза погодных условий, связанных с явлением атмосферного рассеяния. Алгоритм основан на использовании карты глубины для расчёта карты прозрачности, то есть определения густоты тумана для каждого конкретного участка изображения в зависимости от расстояния между этим участком и камерой. Для оценки требуемой яркости моделируемого тумана применяется метод тёмного канала, основанный на оценке средней яркости самых ярких участков изображения, в результате работы которого может быть получена оценка интенсивности естественного освещения. Проведён эксперимент по применению рассматриваемого метода аугментации для дообучения модели распознавания объектов. Рассмотренный алгоритм был применён для набора данных с дорожными сценами, размеченного для задачи детекции. Проверка точности работы модели на наборе изображений, полученных в условиях реального тумана, показала, что наличие синтетических данных в обучающей выборке улучшает точность распознавания и локализации объектов на изображении.
Скачивания
Литература
2. P. 81–92. (in Russian) 2. He K., Sun J. and Tang X. (2009) Single Image Haze Removal Using Dark Channel Prior. 2009 IEEE Conference on Computer Image and Pattern Recognition, Miami, FL, USA, 2009. DOI
3. Zhu Q., Mai J. and Shao L. (2015) A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior. IEEE Transactions on Image Processing. V. 24. (11). P. 3522–3533. DOI
4. Chu Z. (2024) D-YOLO a robust framework for object detection in adverse weather conditions. arXiv preprint: arXiv: 2403.09233.
5. Tang M., Zhao Z. and Qiu J. (2024) A Foggy Weather Simulation Algorithm for Traffic Image Synthesis Based on Monocular Depth Estimation. Sensors. 6. 1966. DOI
6. Zhang J., Huan Y., Ju R. and Deyu Z. (2022) MobiDepth: Real-Time Depth Estimation Using On-Device Dual Cameras. MobiCom ’22: Proceedings of the 28th Annual International Conference on Mobile Computing and Networking. P. 528–541. DOI
7. Godard C., Aodha O. M. and Brostow G. J. (2017) Unsupervised Monocular Depth Estimation with Left-Right Consistency. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. DOI
8. Yang L., Kang B., Huang Z., Zhao Z., Xu X., Feng J. and Zhao H. (2024) Depth Anything V2, arXiv preprint: arXiv: 2406.09414.
9. Tang M., Zhao Z and Qiu J. (2024) A Foggy Weather Simulation Algorithm for Traffic Image Synthesis Based on Monocular Depth Estimation. Sensors. DOI
10. Kenk M. and Hassaballah M. (2020) DAWN: Vehicle Detection in Adverse Weather Nature. arXiv preprint: arXiv: 2008.05402.
11. Ren S., He K., Girshick R. and Sun J. (2015) Faster R-CNN: Towards Real-Time Object Detection with Regional Proposal Networks. arXiv preprint: arXiv: 1506.01497.
12. Tran L., Tran C.N., Park D., Carrabina J. and Castells-Rufas D. (2023) Toward Improving Robustness of Object Detectors against Domain Shift. arXiv preprint: arXiv: 2403.12049.
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
