Машинное обучение в задаче оценки качества изображений в системах со сверхразрешением
Аннотация
В данной работе описан подход к оценке качества изображений в системах со сверхразрешением на основе глубокого обучения с использованием предобученной нейронной сети с дополнительным слоем предварительной обработки, который выполняет перенос признаков в частотную область. Большинство существующих метрик качества, традиционно применяемых в задачах обработки изображений, не позволяют фиксировать изменения детализации, возникающие при использовании сверхразрешающих алгоритмов. Использование таких метрик не позволяет адекватно оценивать результаты алгортмов со сверхразрешением и сравнивать их между собой. Поэтому целью данной работы является разработка алгоритма количественной оценки изменения разрешения изображения, происходящего в результате работы произвольного сверхразрешающего алгоритма. В основе предлагаемого алгоритма оценки качества лежит использование глубоких нейронных сетей с переносом обучения. С учетом физического смысла эффекта сверхразрешения, обработка признаков в нейронной сети должна выполняться для частотной области, поэтому в работе предложен специальный слой предобработки, выполняющий такой переход с использованием преобразования Фурье. Схема обучения состоит из двух этапов. На первом этапе создается модель системы формирования изображений, моделирующая получение изображений с низким разрешением из произвольных изображений высокого разрешения. Показано, что использование нейронной сети для формирования изображений с низким разрешением существенно превосходит по точности традиционные линейные модели. Далее модель формирования применяется для повышения объема обучающей выборки, используемой для обучения алгоритма оценки качества. Полученный алгоритм оценки качества применим как для сравнения результатов работы различных сверхразрешающих алгоритмов между собой, так и для оценки предельной возможности повышения разрешения сверхразрешающего алгоритма.
Скачивания
Литература
2. Pickup L. Machine learning in multi-frame image super-resolution [Electronic resource]. URL
3. Savvin S. V. and Sirota A. A. (2022) Algoritmy postroyeniya mnogokadrovogo sverhrazresheniya v usloviyah applicativnyh pomeh na osnove glubokih neyronnyh setey [Algorithms for multi-frame image super-resolution under applicative noise based on deep neural networks]. Computer Optics. (1). P. 130–138. URL
4. Ma С., Yang C.Y., Yang X. and Yang M. H. (2017) Learning a no-reference quality metric for single-image super-resolution. Computer Vision and Image Understanding. 158. P. 1–16. URL
5. Wang Z., Simoncelli E. P. and Bovik A. C. (2003) Multiscale Structural Similarity for Image Quality Assessment. The Thirty-Seventh Asilomar Conference on Signals, Systems & Computers. Pacific Grove, CA, USA: IEEE, 2003. P 1398–1402. DOI
6. Venkatanath N., Praneeth D., Chandrasekhar Bh. M. and Channappayya S. S. (2015) Blind Image Quality Evaluation Using Perception Based Features. In Proceedings of the 21st National Conference on Communications (NCC). Piscataway, NJ: IEEE, 2015.
7. Mittal A. Moorthy A. K. and Bovik A. C. (2012) No-Reference Image Quality Assessment in the Spatial Domain. IEEE Transactions on Image Processing. 21 (12). P. 4695–4708.
8. Mittal A., Sounda-rarajan R. and Bovik A. C. (2013) Making a Completely Blind Image Quality Analyzer. IEEE Signal Processing Letters. 22 (3), P. 209–212.
9. Ivankov A. Y. (2016) Adaptivniy algoritm optimalnoy filtratsii dlya povysheniya razreshenya na osnove obrabotki posledovatelnosty tsifrovih izobrazheniy [Adaptive optimal filtering algorithm for resolution enhancement based on digital image sequence processing]. Proc. Voronezh State University, Ser. Systems Analysis and Inform. Technol. (4). P. 142–147. (in Russian)
10. Sirota, A. A. and Ivankov A. Yu. (2017) Adaptive algorithms for superresolution based on processing a sequence of images. Journal of Optical Technology. 84. P. 316–322. DOI
11. Ji X., Cao Y., Tai Y. and Wang C. (2020) Real-World Super-Resolution via Kernel Estimation and Noise Injection. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, WA, USA, 2020. P. 1914– 1923. DOI
12. Wei P., Vedaldi A., Bischof H. and Brox T. (2020). Component Divide-and-Conquer for Real-World Image Super-Resolution Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science, 12353. DOI
13. PPG-LIRMM-COLOR base [Electronic resource]. URL
14. Sirota A. A., Dryuchenko M. A. and Ivankov A. Yu. (2021) Stegoanalys tsifrovih izobrazheniy s ispolzovaniem metodov glubokogo i poverhnostnogo mashinnogo obucheniya: izvestnye podhody i novye resheniya [Steganalysis of digital images by means of shallow and deep machine learning: existing approaches and new solutions]. Proc. Voronezh State University, Ser. Systems Analysis and Inform. Technol. (1). P. 33– 51. (in Russian) DOI
15. Dryuchenko M. A. and Sirota, A. A. (2022) Stegoanalys tsifrovih izobrazheniy s ispolzovaniem glubokih neyronnyh setey i geteroassotsiativnyh preobrazovaniy [Image stegoanalysis using deep neural networks and heteroassocia-tive integral transformations]. PDM. (55). P. 35–58. (in Russian) DOI
16. Szegedy C., Vanhoucke V., Ioffe S. and Shlens J. (2016) Rethinking the Inception Architecture for Computer Vision. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. P. 2818–2826. DOI
17. Szegedy C., Vanhoucke V. and Ioffe S. (2017) Inception-v4, Inception-Resnet and the Impact of Residual Connections on Learning. Thirty-First AAAI Conference on Artificial Intelligence, San Francisco. P. 4278–4284.
18. Tan M. Le Q. V. (2019) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. Proceedings of the 36th International Conference on Machine Learning, ICML 2019. P. 6105–6114.
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).