СИАМСКАЯ АРХИТЕКТУРА ТРАНСФОРМЕРА С ЛОКАЛЬНЫМ ОКОННЫМ И ГЛОБАЛЬНЫМ ДЕФОРМИРУЕМЫМ ВНИМАНИЕМ ДЛЯ ОБНАРУЖЕНИЯ ЭЛЕМЕНТОВ НОВИЗНЫ НА ИЗОБРАЖЕНИЯХ
Ключевые слова:
компьютерное зрение, обнаружение элементов новизны, глубокие нейронные сети, трансформеры, механизм внимания
Аннотация
Рассмотрена задача обнаружения элементов новизны на изображениях на примере обработки данных аэрокосмического мониторинга поверхности земли. Для решения задачи предлагается оригинальная модель сиамской глубокой нейронной сети X-ChangeNet на основе иерархического трансформера. В рамках модели представлен и обоснован комплексный механизм сопоставления разновременных признаков, включающего три ключевых модуля, которые последовательно выявляют изменения от локального уровня до глобального. К ним относятся: модуль многомасштабной попарной корреляции, который обнаруживает базовые структурные изменения посредством попарной конкатенации и многомасштабной групповой свёртки; многомасштабный трансформер на основе локальных окон, выявляющий сложные локальные и региональные зависимости с помощью многомасштабного оконного внимания; трансформер с деформируемым вниманием на уровне патчей, позволяющий захватывать глобальный контекст и фокусироваться на структурных изменениях при значительно меньших вычислительных затратах по сравнению с традиционным глобальным самовниманием. Проведены сравнительные эксперименты предложенной модели на типовых аэрокосмических наборах данных LEVIR-CD и CDD Dataset по отношению к известным моделям. Показано, что X-ChangeNet обеспечивает высокие и конкурентоспособные показатели точности, превосходя большинство современных моделей при значительно меньшем количестве обучаемых параметров. В частности, модель достигла F1-Score 91,91 % на LEVIR-CD и 97,81 % на CDD Dataset, имея всего 5,8 миллиона параметров. Полученные результаты демонстрируют потенциал предложенной модели для эффективного решения задач обнаружения элементов новизны в различных сценариях.
Скачивания
Данные скачивания пока не доступны.
Литература
1. Daudt R. Fully Convolutional Siamese Networks for Change Detection / R. Daudt, B. Saux, A. Boulch // 25th IEEE International Conference on Image Processing (ICIP), Athens, Greece, 7–10 October 2018. – P. 4063–4067. – DOI: 10.1109/ICIP.2018.8451652.
2. Peng D. End-to-End change detection for high resolution satellite images using improved UNet++ / D. Peng, Y. Zhang, H. Guan // Remote Sensing. – 2019. – V. 11, No 11. – P. 1382. – DOI: 10.3390/rs11111382.
3. Fang S. SNUNet-CD: A densely connected Siamese network for change detection of VHR images / S. Fang, K. Li, J. Shao, Z. Li // IEEE Geoscience and Remote Sensing Letters. – 2021. – V. 19. – P. 1–5. – DOI: 10.1109/LGRS.2021.3056416.
4. Zhang C. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images / C. Zhang, P. Yue, D. Tapete, L. Jiang, B. Shangguan, L. Huang, G. Liu [et al.] // ISPRS Journal of Photogrammetry and Remote Sensing. – 2020. – V. 166. – P. 183200. – DOI: 10.1016/j.isprsjprs.2020.06.003.
5. Chen J. Dual attentive fully convolutional Siamese networks for change detection of high-resolution satellite images / J. Chen, Z. Yuan, J. Peng, L. Chen, H. Huang, J. Zhu, Y. Liu, H. Li // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. – 2020. – V. 13. – DOI: 10.1109/JSTARS.2020.3037893.
6. Chen H. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection / H. Chen, Z. Shi // Remote Sensing. – 2020. – V. 12, No 10. – P. 1662. – DOI: 10.3390/rs12101662.
7. Vaswani A. Attention Is All You Need [Электронный ресурс] / A. Vaswani, N. M. Shazeer, N. Parmar [et al.] // ArXiv. – 2017. – Режим доступа: https://arxiv.org/pdf/1706.03762 – DOI: 10.48550/arXiv.1706.03762.
8. Dosovitskiy A. An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale [Электронный ресурс] / A. Dosovitskiy, L. Beyer, A. Kolesnikov, et al. // ArXiv. – 2020. – Режим доступа: https://arxiv. org/pdf/2010.11929 – DOI: 10.48550/arXiv.2010.11929.
9. Chen H. Remote sensing image change detection with transformers / H. Chen, Z. Qi, Z. Shi // IEEE Trans. Geosci. Remote Sens. – 2021. – P. 1–14. – DOI: 10.1109/TGRS.2021.3095166.
10. Bandara W. G. C. A Transformer-Based Siamese Network for Change Detection / W. G. C. Bandara, V. M. Patel // In: IGARSS 2022 – 2022 IEEE International Geoscience and Remote Sensing Symposium, Kuala Lumpur, Malaysia. – 2022. – P. 207–210. – DOI: 10.1109/IGARSS46834.2022.9883686.
11. Yan T. Fully Transformer Network for Change Detection of Remote Sensing Images / T. Yan, Z. Wan, P. Zhang // In: Wang L., Gall J., Chin T. J., Sato I., Chellappa R. (eds.) Computer Vision – ACCV 2022. Lecture Notes in Compu ter Science, vol. 13842. – Cham: Springer. – 2023. – P. 75–92. – DOI: 10.1007/978 3 031 26284 5_5.
12. Xie E. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers [Электронный ресурс] / E. Xie, W. Wang, Z. Yu, A. [et al.] // ArXiv. – 2021. – Режим доступа: https://arxiv.org/pdf/2105.15203. – DOI: 10.48550/arXiv.2105.15203.
13. Liu Z. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows / Z. Liu, Y. Lin, Y. Cao [et al.] // In: Proc. of the 2021 IEEE/CVF Int. Conf. on Computer Vision (ICCV). – 2021. – P. 9992–10002. – DOI: 10.1109/ICCV48922.2021.00986.
14. Fang S. Changer: Feature Interaction is What You Need for Change Detection / S. Fang, K. Li, Z. Li // IEEE Trans. Geosci. Remote Sens. – 2023. – V. 61. – P. 1–11 (Art. 5610111). – DOI: 10.1109/TGRS.2023.3277496.
15. Codegoni A. TINYCD: a (not so) deep learning model for change detection / A. Codegoni, G. Lombardi, A. Ferrari // Neural Computing and Applications. – 2023. – V. 35, No 11. – P. 84718486. – DOI: 10.1007/s00521-022-08122-3
16. Feng J. SMBCNet: A transformer-based approach for change detection in remote sen sing images through semantic segmentation / J. Feng, X. Yang, Z. Gu, M. Zeng, W. Zheng // Remote Sensing. – 2023. – V. 15, No 14. – Art. 3566. – DOI: 10.3390/rs15143566
17. Xing Y. LightCDNet: Lightweight change detection network based on VHR images / Y. Xing, J. Jiang, J. Xiang, E. Yan, Y. Song, D. Mo // IEEE Geoscience and Remote Sensing Letters. – 2023. – V. 20. – P. 1–5. – DOI: 10.1109/ LGRS.2023.3304309
18. Xia Z. DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [Электронный ресурс] / Z. Xia, X. Pan, S. Song, L. Li, G. Huang [et al.] // ArXiv. – 2023. – Режим доступа: https://arxiv.org/abs/2309.01430. – DOI: 10.48550/arXiv.2309.01430.
19. Lebedev M. Change detection in remote sensing images using conditional adversarial networks / M. Lebedev, Y. Vizilter, O. Vygolov [et al] // Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. – 2018. – V. 42. – P. 565–571. – DOI: 10.5194/ISPRS-ARCHIVES-XLII-2-565-2018.
20. Loshchilov I. Decoupled Weight Decay Regularization [Электронный ресурс] / I. Loshchilov, F. Hutter // ArXiv. – 2017. – Режим доступа: https://arxiv.org/pdf/1711.05101. – DOI: 10.48550/arXiv.1711.05101.
21. Mohammadian A. SiamixFormer: a fully-transformer Siamese network with temporal Fusion for accurate building detection and change detection in bi-temporal remote sensing ima ges [Электронный ресурс] / A. Mohammadian, F. Gh // ArXiv. – 2022. – Режим доступа: https:// arxiv.org/pdf/2208.00657. – DOI: 10.48550/arXiv.2208.00657.
2. Peng D. End-to-End change detection for high resolution satellite images using improved UNet++ / D. Peng, Y. Zhang, H. Guan // Remote Sensing. – 2019. – V. 11, No 11. – P. 1382. – DOI: 10.3390/rs11111382.
3. Fang S. SNUNet-CD: A densely connected Siamese network for change detection of VHR images / S. Fang, K. Li, J. Shao, Z. Li // IEEE Geoscience and Remote Sensing Letters. – 2021. – V. 19. – P. 1–5. – DOI: 10.1109/LGRS.2021.3056416.
4. Zhang C. A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images / C. Zhang, P. Yue, D. Tapete, L. Jiang, B. Shangguan, L. Huang, G. Liu [et al.] // ISPRS Journal of Photogrammetry and Remote Sensing. – 2020. – V. 166. – P. 183200. – DOI: 10.1016/j.isprsjprs.2020.06.003.
5. Chen J. Dual attentive fully convolutional Siamese networks for change detection of high-resolution satellite images / J. Chen, Z. Yuan, J. Peng, L. Chen, H. Huang, J. Zhu, Y. Liu, H. Li // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. – 2020. – V. 13. – DOI: 10.1109/JSTARS.2020.3037893.
6. Chen H. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection / H. Chen, Z. Shi // Remote Sensing. – 2020. – V. 12, No 10. – P. 1662. – DOI: 10.3390/rs12101662.
7. Vaswani A. Attention Is All You Need [Электронный ресурс] / A. Vaswani, N. M. Shazeer, N. Parmar [et al.] // ArXiv. – 2017. – Режим доступа: https://arxiv.org/pdf/1706.03762 – DOI: 10.48550/arXiv.1706.03762.
8. Dosovitskiy A. An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale [Электронный ресурс] / A. Dosovitskiy, L. Beyer, A. Kolesnikov, et al. // ArXiv. – 2020. – Режим доступа: https://arxiv. org/pdf/2010.11929 – DOI: 10.48550/arXiv.2010.11929.
9. Chen H. Remote sensing image change detection with transformers / H. Chen, Z. Qi, Z. Shi // IEEE Trans. Geosci. Remote Sens. – 2021. – P. 1–14. – DOI: 10.1109/TGRS.2021.3095166.
10. Bandara W. G. C. A Transformer-Based Siamese Network for Change Detection / W. G. C. Bandara, V. M. Patel // In: IGARSS 2022 – 2022 IEEE International Geoscience and Remote Sensing Symposium, Kuala Lumpur, Malaysia. – 2022. – P. 207–210. – DOI: 10.1109/IGARSS46834.2022.9883686.
11. Yan T. Fully Transformer Network for Change Detection of Remote Sensing Images / T. Yan, Z. Wan, P. Zhang // In: Wang L., Gall J., Chin T. J., Sato I., Chellappa R. (eds.) Computer Vision – ACCV 2022. Lecture Notes in Compu ter Science, vol. 13842. – Cham: Springer. – 2023. – P. 75–92. – DOI: 10.1007/978 3 031 26284 5_5.
12. Xie E. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers [Электронный ресурс] / E. Xie, W. Wang, Z. Yu, A. [et al.] // ArXiv. – 2021. – Режим доступа: https://arxiv.org/pdf/2105.15203. – DOI: 10.48550/arXiv.2105.15203.
13. Liu Z. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows / Z. Liu, Y. Lin, Y. Cao [et al.] // In: Proc. of the 2021 IEEE/CVF Int. Conf. on Computer Vision (ICCV). – 2021. – P. 9992–10002. – DOI: 10.1109/ICCV48922.2021.00986.
14. Fang S. Changer: Feature Interaction is What You Need for Change Detection / S. Fang, K. Li, Z. Li // IEEE Trans. Geosci. Remote Sens. – 2023. – V. 61. – P. 1–11 (Art. 5610111). – DOI: 10.1109/TGRS.2023.3277496.
15. Codegoni A. TINYCD: a (not so) deep learning model for change detection / A. Codegoni, G. Lombardi, A. Ferrari // Neural Computing and Applications. – 2023. – V. 35, No 11. – P. 84718486. – DOI: 10.1007/s00521-022-08122-3
16. Feng J. SMBCNet: A transformer-based approach for change detection in remote sen sing images through semantic segmentation / J. Feng, X. Yang, Z. Gu, M. Zeng, W. Zheng // Remote Sensing. – 2023. – V. 15, No 14. – Art. 3566. – DOI: 10.3390/rs15143566
17. Xing Y. LightCDNet: Lightweight change detection network based on VHR images / Y. Xing, J. Jiang, J. Xiang, E. Yan, Y. Song, D. Mo // IEEE Geoscience and Remote Sensing Letters. – 2023. – V. 20. – P. 1–5. – DOI: 10.1109/ LGRS.2023.3304309
18. Xia Z. DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [Электронный ресурс] / Z. Xia, X. Pan, S. Song, L. Li, G. Huang [et al.] // ArXiv. – 2023. – Режим доступа: https://arxiv.org/abs/2309.01430. – DOI: 10.48550/arXiv.2309.01430.
19. Lebedev M. Change detection in remote sensing images using conditional adversarial networks / M. Lebedev, Y. Vizilter, O. Vygolov [et al] // Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. – 2018. – V. 42. – P. 565–571. – DOI: 10.5194/ISPRS-ARCHIVES-XLII-2-565-2018.
20. Loshchilov I. Decoupled Weight Decay Regularization [Электронный ресурс] / I. Loshchilov, F. Hutter // ArXiv. – 2017. – Режим доступа: https://arxiv.org/pdf/1711.05101. – DOI: 10.48550/arXiv.1711.05101.
21. Mohammadian A. SiamixFormer: a fully-transformer Siamese network with temporal Fusion for accurate building detection and change detection in bi-temporal remote sensing ima ges [Электронный ресурс] / A. Mohammadian, F. Gh // ArXiv. – 2022. – Режим доступа: https:// arxiv.org/pdf/2208.00657. – DOI: 10.48550/arXiv.2208.00657.
Опубликован
2025-09-26
Как цитировать
Отырба, Р. Р. (2025). СИАМСКАЯ АРХИТЕКТУРА ТРАНСФОРМЕРА С ЛОКАЛЬНЫМ ОКОННЫМ И ГЛОБАЛЬНЫМ ДЕФОРМИРУЕМЫМ ВНИМАНИЕМ ДЛЯ ОБНАРУЖЕНИЯ ЭЛЕМЕНТОВ НОВИЗНЫ НА ИЗОБРАЖЕНИЯХ. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (3), 123-139. https://doi.org/10.17308/sait/1995-5499/2025/3/123-139
Выпуск
Раздел
Интеллектуальные системы, анализ данных и машинное обучение
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
