Универсальный алгоритм улучшения изображений с использованием глубоких нейронных сетей
Аннотация
Рассматривается задача повышения качества изображений при воздействии различных видов шумов и искажений. Проводится сравнительный анализ стандартных алгоритмов и нейросетевых алгоритмов улучшения качества изображений, основанных на использовании глубоких нейронных сетей. Последние позиционируются как универсальное средство решения задачи улучшения качества изображений. Исследуется влияние гиперпараметров глубоких нейронных сетей на качество восстанавливаемых изображений. В первой части рассматривается теоретическая часть проблемы восстановления изображения, как решение сложной неустойчивой оптимизационной задачи. Исследуются различные техники аугментации, основанные на применении методов принудительного зашумления изображений и искусственной генерации дефектов, а также на применении нового подхода к аугментации данных путем частичной стилизации изображений. Помимо этого, используются различные метрики оценки качества восстановленных изображений, определяются их недостатки и границы применимости. Во второй части проводится сравнение известных классических алгоритмов с предложенными нейросетевыми, исследуется зависимость качества восстановления изображений от уровня шума. В ходе экспериментов по оценке эффективности предложенных подходов для улучшения изображений рассматриваются аддитивные и импульсные типы шумов, встречающиеся на изображениях медицинских снимков, а также на изображениях, полученных при помощи оптической когерентной томографии. Исследуется возможность работы алгоритмов в режиме реального времени. Определяется способ сравнения качества изображений через задачу сегментации с помощью сети Unet. Было показано, что нейронные сети не уступают классическим алгоритмам при улучшении качества изображений, а в некоторых случаях даже превосходят их.
Скачивания
Литература
2. González R. C. and Woods R. E. (2008) Digital image processing, 3rd Edition.
3. Tihonov V. I. and Harisov V. N. (2004) Staticheskij analiz i sintez radio-tehnicheskih ustrojstv i sistem svjazi. Moscow, Radio i svjaz. (in Russian)
4. Klochko V. K. and Kuznecov V. P. (2016) Metody vosstanovlenija izobrazhenij i oce-nivanija apparatnoj funkcii po prorezhen-noj matrice nabljudenij. Avtometrija. 52, (6). P. 12–20. DOI
5. Zhang J., Hirakawa K. and Jin X. (2015) Quantile analysis of image sensor noise distribution. 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). P. 1598–1602. DOI
6. Vanjashkin Ju. Ju. and Makarov D. A. (2020) Primenenie avtokodirovshhikov dlja ustranenija shumov s izobrazhenij. Nauchno-obrazovatel’nyj zhurnal dlja studentov i prepodavatelej «StudNet». (10). (in Russian)
7. Mao X., Shen C. and Yang Y. (2016) Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections. NIPS.
8. Dey B., Halder S., Khalil K., Lorusso G. F., Severi J., Leray P. and Bayoumi M. A. (2021) SEM image denoising with unsupervised machine learning for better defect inspection and metrology. Advanced Lithography. DOI
9. Wang Z., Yu L. and Pu L. (2021) Defect simulation in SEM images using generative adversarial networks. Advanced Lithography. DOI
10. Huang X. and Belongie S. J. (2017) Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization. 2017 IEEE International Conference on Computer Vision (ICCV). P. 1510–1519.
11. Sizikov V. S. (1999) Ustojchivye metody obrabotki rezul’tatov izmerenij. Saint-Petersburg, SpecLit. (in Russian)
12. Bondina N. N. and Murarov R. Ju. (2014) Adaptivnye algoritmy fil’tracii i izmenenija kontrasta izobrazhenija. Vestnik NTU. (35). (in Russian)
13. Milukova O., Kober V. and Ovseevich I. A. (2009) Image Restoration Spectral Techniques. PRIP.
14. Algazinov Je. K. and Sirota A. A. (2009) Analiz i komp’juternoe modelirova-nie informacionnyh processov i sistem. Moscow, Dialog-MIFI. (in Russian)
15. Sirota A. A. and Kalinin P. V. (2011) Analiz potencial’nyh i real’nyh harakteristik ocenivanija sluchajnyh polej (izobrazhenij) v uslovijah additivnyh i im-pul’snyh pomeh. Vestnik VGU Serija: Si-stemnyj analiz i informacionnye tehnologii. (1). P. 41–50. (in Russian)
16. Huynh-Thu Q. and Ghanbari M. (2008) Scope of validity of PSNR in image/video quality assessment. Electronics Letters. 44. P. 800–801. DOI
17. Kalinkina D. A. Opredelenie urovnja shuma na izobrazhenii na osnove usrednenija dispersii v blokah. Mezhduna-rodnaja konferencija studentov i aspirantov po fundamental’nym naukam «Lomonosov 2005». (in Russian)
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
