Машинное обучение в задаче оценки качества изображений в системах со сверхразрешением

Ключевые слова: сверхразрешение, оценка качества изображений, машинное обучение, сверточные нейронные сети

Аннотация

В данной работе описан подход к оценке качества изображений в системах со сверхразрешением на основе глубокого обучения с использованием предобученной нейронной сети с дополнительным слоем предварительной обработки, который выполняет перенос признаков в частотную область. Большинство существующих метрик качества, традиционно применяемых в задачах обработки изображений, не позволяют фиксировать изменения детализации, возникающие при использовании сверхразрешающих алгоритмов. Использование таких метрик не позволяет адекватно оценивать результаты алгортмов со сверхразрешением и сравнивать их между собой. Поэтому целью данной работы является разработка алгоритма количественной оценки изменения разрешения изображения, происходящего в результате работы произвольного сверхразрешающего алгоритма. В основе предлагаемого алгоритма оценки качества лежит использование глубоких нейронных сетей с переносом обучения. С учетом физического смысла эффекта сверхразрешения, обработка признаков в нейронной сети должна выполняться для частотной области, поэтому в работе предложен специальный слой предобработки, выполняющий такой переход с использованием преобразования Фурье. Схема обучения состоит из двух этапов. На первом этапе создается модель системы формирования изображений, моделирующая получение изображений с низким разрешением из произвольных изображений высокого разрешения. Показано, что использование нейронной сети для формирования изображений с низким разрешением существенно превосходит по точности традиционные линейные модели. Далее модель формирования применяется для повышения объема обучающей выборки, используемой для обучения алгоритма оценки качества. Полученный алгоритм оценки качества применим как для сравнения результатов работы различных сверхразрешающих алгоритмов между собой, так и для оценки предельной возможности повышения разрешения сверхразрешающего алгоритма.

Скачивания

Данные скачивания пока не доступны.

Биография автора

Александр Юрьевич Иванков, Воронежский государственный университет

канд. физико-математических наук, доцент кафедры технологий обработки и защиты информации Воронежского государственного университета

Литература

1. Vasilenko G. I., Taratorin A. M. (1986) Vosstanovlenie Izobrazheniy [Image Restoration]. Moscow : Radio i sviaz. (in Russian)
2. Pickup L. Machine learning in multi-frame image super-resolution [Electronic resource]. URL
3. Savvin S. V. and Sirota A. A. (2022) Algoritmy postroyeniya mnogokadrovogo sverhrazresheniya v usloviyah applicativnyh pomeh na osnove glubokih neyronnyh setey [Algorithms for multi-frame image super-resolution under applicative noise based on deep neural networks]. Computer Optics. (1). P. 130–138. URL
4. Ma С., Yang C.Y., Yang X. and Yang M. H. (2017) Learning a no-reference quality metric for single-image super-resolution. Computer Vision and Image Understanding. 158. P. 1–16. URL
5. Wang Z., Simoncelli E. P. and Bovik A. C. (2003) Multiscale Structural Similarity for Image Quality Assessment. The Thirty-Seventh Asilomar Conference on Signals, Systems & Computers. Pacific Grove, CA, USA: IEEE, 2003. P 1398–1402. DOI
6. Venkatanath N., Praneeth D., Chandrasekhar Bh. M. and Channappayya S. S. (2015) Blind Image Quality Evaluation Using Perception Based Features. In Proceedings of the 21st National Conference on Communications (NCC). Piscataway, NJ: IEEE, 2015.
7. Mittal A. Moorthy A. K. and Bovik A. C. (2012) No-Reference Image Quality Assessment in the Spatial Domain. IEEE Transactions on Image Processing. 21 (12). P. 4695–4708.
8. Mittal A., Sounda-rarajan R. and Bovik A. C. (2013) Making a Completely Blind Image Quality Analyzer. IEEE Signal Processing Letters. 22 (3), P. 209–212.
9. Ivankov A. Y. (2016) Adaptivniy algoritm optimalnoy filtratsii dlya povysheniya razreshenya na osnove obrabotki posledovatelnosty tsifrovih izobrazheniy [Adaptive optimal filtering algorithm for resolution enhancement based on digital image sequence processing]. Proc. Voronezh State University, Ser. Systems Analysis and Inform. Technol. (4). P. 142–147. (in Russian)
10. Sirota, A. A. and Ivankov A. Yu. (2017) Adaptive algorithms for superresolution based on processing a sequence of images. Journal of Optical Technology. 84. P. 316–322. DOI
11. Ji X., Cao Y., Tai Y. and Wang C. (2020) Real-World Super-Resolution via Kernel Estimation and Noise Injection. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, WA, USA, 2020. P. 1914– 1923. DOI
12. Wei P., Vedaldi A., Bischof H. and Brox T. (2020). Component Divide-and-Conquer for Real-World Image Super-Resolution Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science, 12353. DOI
13. PPG-LIRMM-COLOR base [Electronic resource]. URL
14. Sirota A. A., Dryuchenko M. A. and Ivankov A. Yu. (2021) Stegoanalys tsifrovih izobrazheniy s ispolzovaniem metodov glubokogo i poverhnostnogo mashinnogo obucheniya: izvestnye podhody i novye resheniya [Steganalysis of digital images by means of shallow and deep machine learning: existing approaches and new solutions]. Proc. Voronezh State University, Ser. Systems Analysis and Inform. Technol. (1). P. 33– 51. (in Russian) DOI
15. Dryuchenko M. A. and Sirota, A. A. (2022) Stegoanalys tsifrovih izobrazheniy s ispolzovaniem glubokih neyronnyh setey i geteroassotsiativnyh preobrazovaniy [Image stegoanalysis using deep neural networks and heteroassocia-tive integral transformations]. PDM. (55). P. 35–58. (in Russian) DOI
16. Szegedy C., Vanhoucke V., Ioffe S. and Shlens J. (2016) Rethinking the Inception Architecture for Computer Vision. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016. P. 2818–2826. DOI
17. Szegedy C., Vanhoucke V. and Ioffe S. (2017) Inception-v4, Inception-Resnet and the Impact of Residual Connections on Learning. Thirty-First AAAI Conference on Artificial Intelligence, San Francisco. P. 4278–4284.
18. Tan M. Le Q. V. (2019) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. Proceedings of the 36th International Conference on Machine Learning, ICML 2019. P. 6105–6114.
Опубликован
2023-09-29
Как цитировать
Иванков, А. Ю. (2023). Машинное обучение в задаче оценки качества изображений в системах со сверхразрешением. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (2), 132-145. https://doi.org/10.17308/sait/1995-5499/2023/2/132-145
Раздел
Интеллектуальные системы, анализ данных и машинное обучение