Алгоритмические способы построения сверхразрешения видеоданных в условиях аппликативных помех с использованием глубоких нейронных сетей

Ключевые слова: сверхразрешение, аппликативные помехи, цифровые изображения, обработка видеопоследовательностей, машинное обучение, свёрточные нейронные сети, глубокое обучение

Аннотация

Рассмотрена задача построения алгоритмов сверхразрешения для видеопоследовательностей, решение которой обеспечивает повышение разрешения формируемых кадров после обработки нескольких кадров исходной последовательности низкого разрешения. Особенностью решаемой задачи является наличие искажений, обусловленных воздействием аппликативных помех. Последние проявляются в виде распределённых участков аномальных наблюдений или областей закрытия на исходных кадрах и могут рассматриваться как дополнительный фактор снижения разрешения входных изображений. Проанализированы существующие подходы и алгоритмы построения сверхразрешения изображений и видеоданных, в том числе в условиях воздействия аппликативных помех. Рассмотрены два подхода к синтезу алгоритмов сверхразрешения видеоданных на основе использования глубоких свёрточных нейронных сетей, обрабатывающих данные в скользящем во времени окне, захватывающем нескольких кадров, лежащих до и после текущего кадра, и формирующих для него изображение более высокого качества. Первый алгоритм основывается на использовании двухвходовой нейронной сети в виде направленного ациклического графа и реализует итеративный подход для формирования очередного кадра видеопоследовательности. Второй алгоритм основан на модификации данной нейронной сети с учётом особенностей обработки видеоданных, позволяющей повысить быстродействие за счет обеспечения поступления на вход сразу всех кадров в пределах скользящего окна. Проведено экспериментальное исследование синтезированных алгоритмов, результаты которого показали, что первый алгоритм имеет большее качество формирования изображений высокого разрешения по сравнению со вторым, но существенно уступает ему в быстродействии. Рассмотрена задача устранения нежелательных движущихся объектов на видеопоследовательностях, закрывающих области с полезной информацией, которую также можно рассматривать как задачу устранения аппликативных помех. Предложен относительно простой алгоритм сегментации областей аномальных наблюдений на кадрах видеопоследовательности, основанный на сравнении очередного кадра с эталонным изображением и проведении последовательности морфологических операций.

Скачивания

Данные скачивания пока не доступны.

Биография автора

Сергей Викторович Саввин, Воронежский государственный университет

аспирант кафедры технологий обработки и защиты информации, факультет компьютерных наук, Воронежский государственный университет, Россия, Воронеж

Литература

1. Liu C. & Sun D. (2014) On Bayesian Adaptive Video Super Resolution. IEEE Transactions on Pattern Analysis and Machine Intelligence. 36(2). 346–360. Available from: DOI
2. Kappeler A., Yoo S. & Dai Q. (2016) Video Super-Resolution with Convolutional Neural Networks. IEEE Transactions on Computational Imaging. 2(2). 109–122. Available from: DOI
3. Makansi O., Ilg E. & Brox T. (2017) Endto-End Learning of Video Super-Resolution with Motion Compensation. Pattern Recognition. GCPR 2017. Lecture Notes in Computer Science. 203–214. Available from: DOI
4. Caballero J., Ledig C. & Aitken A. (2017) Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, USA 2017. 2848–2857. Available from: DOI
5. Ma Z., Liao R., Tao X., Xu L., Jia J. & Wu E. (2015) Handling motion blur in multi-frame super-resolution. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – Boston, USA 2015. 5224–5232. Available from: DOI
6. Savvin, S. V., Sirota, A. A. & Ivankov, A. Yu. (2021) Methods and algorithms of super-resolution for image se-quence under applicative noise [In Russian]. Izvestiya RAN. Control theory and systems. 3. 136–148. Available from: DOI
7. Savvin S. V. & Sirota A. A. (2020) An Algorithm for Multi-Fame Image Super-Resolution Under Applicative Noise Based on a Convolutional Neural Network. 2nd International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA), Lipetsk, Russia 2020. 422–424. Available from: DOI
8. Hui T.-W., Tang X. & Loy C. C. (2020) A Lightweight Optical Flow CNN – Revisiting Data Fidelity and Regularization. IEEE Transactions on Pattern Analysis and Machine Intelligence. Available from: DOI
9. Kaymak C. & Uçar A. (2019) A Brief Survey and an Application of Semantic Image Segmentation for Autonomous Driving In: Balas V. E., Roy S. S., Sharma, D. & Samui, P. (ed.) Handbook of Deep Learning Applications / V. E. Balas, S. S. Roy, D. Sharma, P. Samui (ed.). Springer.
10. Xiao J., Hays J., Ehinger K., Oliva A. & Torral A. (2010). SUN Database: Large-scale Scene Recognition from Abbey to Zoo. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Francisco, USA 2010. 3485–3492. Available from: DOI
Опубликован
2021-12-18
Как цитировать
Саввин, С. В. (2021). Алгоритмические способы построения сверхразрешения видеоданных в условиях аппликативных помех с использованием глубоких нейронных сетей. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (4), 107-120. https://doi.org/10.17308/sait.2021.4/3801
Раздел
Интеллектуальные системы, анализ данных и машинное обучение