Универсальный алгоритм улучшения изображений с использованием глубоких нейронных сетей

Ключевые слова: обработка изображений, улучшение изображений, нейронные сети, аугментация данных, качество изображений, аддитивные и импульсные шумы

Аннотация

Рассматривается задача повышения качества изображений при воздействии различных видов шумов и искажений. Проводится сравнительный анализ стандартных алгоритмов и нейросетевых алгоритмов улучшения качества изображений, основанных на использовании глубоких нейронных сетей. Последние позиционируются как универсальное средство решения задачи улучшения качества изображений. Исследуется влияние гиперпараметров глубоких нейронных сетей на качество восстанавливаемых изображений. В первой части рассматривается теоретическая часть проблемы восстановления изображения, как решение сложной неустойчивой оптимизационной задачи. Исследуются различные техники аугментации, основанные на применении методов принудительного зашумления изображений и искусственной генерации дефектов, а также на применении нового подхода к аугментации данных путем частичной стилизации изображений. Помимо этого, используются различные метрики оценки качества восстановленных изображений, определяются их недостатки и границы применимости. Во второй части проводится сравнение известных классических алгоритмов с предложенными нейросетевыми, исследуется зависимость качества восстановления изображений от уровня шума. В ходе экспериментов по оценке эффективности предложенных подходов для улучшения изображений рассматриваются аддитивные и импульсные типы шумов, встречающиеся на изображениях медицинских снимков, а также на изображениях, полученных при помощи оптической когерентной томографии. Исследуется возможность работы алгоритмов в режиме реального времени. Определяется способ сравнения качества изображений через задачу сегментации с помощью сети Unet. Было показано, что нейронные сети не уступают классическим алгоритмам при улучшении качества изображений, а в некоторых случаях даже превосходят их.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

Александр Анатольевич Сирота, Воронежский государственный университет

д-р техн. наук, проф., заведующий кафедрой технологий обработки и защиты информации, факультет компьютерных наук, Воронежский государственный университет

Никита Игоревич Бережнов, Воронежский государственный университет

студент 2 курса магистратуры кафедры технологий обработки и защиты информации, факультет компьютерных наук, Воронежский государственный университет

Литература

1. Zuo W., Zhang L., Song C. and Zhang D. D. (2013) Texture Enhanced Image Denoising via Gradient Histogram Preservation. 2013 IEEE Conference on Computer Vision and Pattern Recognition. P. 1203–1210. DOI
2. González R. C. and Woods R. E. (2008) Digital image processing, 3rd Edition.
3. Tihonov V. I. and Harisov V. N. (2004) Staticheskij analiz i sintez radio-tehnicheskih ustrojstv i sistem svjazi. Moscow, Radio i svjaz. (in Russian)
4. Klochko V. K. and Kuznecov V. P. (2016) Metody vosstanovlenija izobrazhenij i oce-nivanija apparatnoj funkcii po prorezhen-noj matrice nabljudenij. Avtometrija. 52, (6). P. 12–20. DOI
5. Zhang J., Hirakawa K. and Jin X. (2015) Quantile analysis of image sensor noise distribution. 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). P. 1598–1602. DOI
6. Vanjashkin Ju. Ju. and Makarov D. A. (2020) Primenenie avtokodirovshhikov dlja ustranenija shumov s izobrazhenij. Nauchno-obrazovatel’nyj zhurnal dlja studentov i prepodavatelej «StudNet». (10). (in Russian)
7. Mao X., Shen C. and Yang Y. (2016) Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections. NIPS.
8. Dey B., Halder S., Khalil K., Lorusso G. F., Severi J., Leray P. and Bayoumi M. A. (2021) SEM image denoising with unsupervised machine learning for better defect inspection and metrology. Advanced Lithography. DOI
9. Wang Z., Yu L. and Pu L. (2021) Defect simulation in SEM images using generative adversarial networks. Advanced Lithography. DOI
10. Huang X. and Belongie S. J. (2017) Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization. 2017 IEEE International Conference on Computer Vision (ICCV). P. 1510–1519.
11. Sizikov V. S. (1999) Ustojchivye metody obrabotki rezul’tatov izmerenij. Saint-Petersburg, SpecLit. (in Russian)
12. Bondina N. N. and Murarov R. Ju. (2014) Adaptivnye algoritmy fil’tracii i izmenenija kontrasta izobrazhenija. Vestnik NTU. (35). (in Russian)
13. Milukova O., Kober V. and Ovseevich I. A. (2009) Image Restoration Spectral Techniques. PRIP.
14. Algazinov Je. K. and Sirota A. A. (2009) Analiz i komp’juternoe modelirova-nie informacionnyh processov i sistem. Moscow, Dialog-MIFI. (in Russian)
15. Sirota A. A. and Kalinin P. V. (2011) Analiz potencial’nyh i real’nyh harakteristik ocenivanija sluchajnyh polej (izobrazhenij) v uslovijah additivnyh i im-pul’snyh pomeh. Vestnik VGU Serija: Si-stemnyj analiz i informacionnye tehnologii. (1). P. 41–50. (in Russian)
16. Huynh-Thu Q. and Ghanbari M. (2008) Scope of validity of PSNR in image/video quality assessment. Electronics Letters. 44. P. 800–801. DOI
17. Kalinkina D. A. Opredelenie urovnja shuma na izobrazhenii na osnove usrednenija dispersii v blokah. Mezhduna-rodnaja konferencija studentov i aspirantov po fundamental’nym naukam «Lomonosov 2005». (in Russian)
Опубликован
2022-09-15
Как цитировать
Сирота, А. А., & Бережнов, Н. И. (2022). Универсальный алгоритм улучшения изображений с использованием глубоких нейронных сетей. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (2), 81-92. https://doi.org/10.17308/sait/1995-5499/2022/2/81-92
Раздел
Интеллектуальные системы, анализ данных и машинное обучение

Наиболее читаемые статьи этого автора (авторов)