Моделирование аппликативных помех на изображениях с использованием глубоких нейронных сетей
Аннотация
Моделирование различных специфических дефектов на изображениях имеет большое практическое значение при искусственном размножении данных в обучаемых алгоритмах распознавания, классификации и анализа изображений, при оценке устойчивости работы существующих алгоритмов обработки изображений, а также для тестирования специализированных алгоритмов, направленных на диагностику растровых искажений. Аппликативные помехи относятся к числу распространенных типов искажений цифровых изображений, затрудняющих работу систем технического зрения, действие которых проявляется в замещении отдельных участков полезного изображения фрагментами со случайной амплитудой, текстурой и формой. В статье рассматривается задача моделирования аппликативных помех на изображениях с использованием современных алгоритмов статистической обработки и машинного обучения. Кратко описаны основные типы алгоритмов и методов моделирования аппликативных помех, включая непараметрические методы синтеза текстур, генерацию аппликативных помех как локальных областей закрытия исходных изображений, синтез текстур с использованием сверточных нейронных сетей, синтез аппликативных помех с помощью генеративно-состязательных нейронных сетей. Проведен сравнительный анализ статистического алгоритма генерации аппликативных помех как локальных областей закрытия с обучаемым алгоритмом генерации искаженных аппликативными помехами кадров, основанном на использовании GAN моделей. Для тестирования алгоритмов использовался набор данных TILDA Textile Texture Database. Предложен способ объективной оценки реалистичности получаемых аппликативных образований и искажений, основанный на применении глубоких сверточных классификаторов. Для решаемой задачи точность распознавания синтезированных аппликативных помех при использовании статистического алгоритма генерации оказалась чуть выше в сравнении с алгоритмом генерации помех на основе GAN моделей. Проанализированы результаты исследования степени реалистичности сгенерированных аппликативных помех на изображениях по сравнению с их естественными аналогами.
Скачивания
Литература
2. Jeremy S. De Bonet. (1997). Multiresolution sampling procedure for analysis and synthesis of texture images. Proceedings of the 24th annual conference on Computer graphics and interactive techniques. P. 361–368.
3. Efros Alexei A. and Leung Thomas K. (1999) Texture Synthesis by Non-Parametric Sampling. In Proceedings of the International Conference on Computer Vision-Volume 2 – Volume 2 (ICCV ‘99). Vol. 2. IEEE Computer Society, Washington, DC, USA, 1033-.
4. Kalinin P. V. and Sirota A. A. (2013) Modeling of applicative noise with random shape and various degrees of opacity. Digital signal processing. No 1. P. 28–33.
5. Perlin K. (1985) An image synthesizer. SIG-GRAPH. ACM.
6. Gatys L., Ecker A. S. and Bethge, M. (2015) Texture synthesis using convolutional neural networks. In Advances in Neural Information Processing Systems. P. 262–270.
7. Zhang G, Cui K, Hung T. Y. and Lu S. (2021) Defect-GAN: High-Fidelity Defect Synthesis for Automated Defect Inspection. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer.
8. Park T., Liu M.-Y., Wang T.-C. and Zhu J. Y. (2019) Gaugan: semantic image synthesis with spatially adaptive normalization. In ACM SIG-GRAPH 2019 Real-Time Liv P. 1.
9. Brock A., Donahue J. and Simonyan K. (2018) Large scale gan training for high fidelity natural image synthesis. In ICLR.
10. Jun-Yan Zhu, Taesung Park, Phillip Isola and Alexei A Efros (2017) Unpaired image-to-image translation using cycleconsistent adversarial networks. In ICCV. P. 2223–2232.
11. Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, and Jaegul Choo (2018) StarGAN: Unified generative adversarial networks for multi-domain image. Computer Vision and Pattern Recognition. DOI
12. Heeger D. J. and Bergen J. R. (1995) Pyramid-based texture analysis/synthesis. In Proceedings of the 22nd annual conference on Computer graphics and interactive techniques. ACM. P. 229–238.
13. Portilla J. and Simoncelli E. P. (2000) A parametric texture model based on joint statistics of complex wavelet coefficients. International journal of computer vision 40. 1. P. 49–70.
14. Efros A. A. and Freeman W. T. (2001) Image quilting for texture synthesis and transfer. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques. ACM. P. 341–346.
15. Liu Y., Lin W.-C. and Hays J. (2004) Near-regular texture analysis and manipulation. In ACM Transactions on Graphics (TOG). Vol. 23. ACM. P. 368–376.
16. Li C. and Wand M. (2016) Precomputed real-time texture synthesis with markovian generative adversarial networks. In Proceedings of the 14th European Conference on Computer Vision (ECCV). P. 702–716.
17. Liu M.-Y. and Tuzel O. (2016) Coupled generative adversarial networks. In Advances in Neural Information Processing Systems (NIPS). P. 469–477.
18. Kingma D. P. and Welling M. (2014) Auto-encoding variational bayes. In Proceedings of the 2nd International Conference on Learning Representations (ICLR).
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
