Алгоритмические способы построения сверхразрешения видеоданных в условиях аппликативных помех с использованием глубоких нейронных сетей

Аннотация

Рассмотрена задача построения алгоритмов сверхразрешения для видеопоследовательностей, решение которой обеспечивает повышение разрешения формируемых кадров после обработки нескольких кадров исходной последовательности низкого разрешения. Особенностью решаемой задачи является наличие искажений, обусловленных воздействием аппликативных помех. Последние проявляются в виде распределённых участков аномальных наблюдений или областей закрытия на исходных кадрах и могут рассматриваться как дополнительный фактор снижения разрешения входных изображений. Проанализированы существующие подходы и алгоритмы построения сверхразрешения изображений и видеоданных, в том числе в условиях воздействия аппликативных помех. Рассмотрены два подхода к синтезу алгоритмов сверхразрешения видеоданных на основе использования глубоких свёрточных нейронных сетей, обрабатывающих данные в скользящем во времени окне, захватывающем нескольких кадров, лежащих до и после текущего кадра, и формирующих для него изображение более высокого качества. Первый алгоритм основывается на использовании двухвходовой нейронной сети в виде направленного ациклического графа и реализует итеративный подход для формирования очередного кадра видеопоследовательности. Второй алгоритм основан на модификации данной нейронной сети с учётом особенностей обработки видеоданных, позволяющей повысить быстродействие за счет обеспечения поступления на вход сразу всех кадров в пределах скользящего окна. Проведено экспериментальное исследование синтезированных алгоритмов, результаты которого показали, что первый алгоритм имеет большее качество формирования изображений высокого разрешения по сравнению со вторым, но существенно уступает ему в быстродействии. Рассмотрена задача устранения нежелательных движущихся объектов на видеопоследовательностях, закрывающих области с полезной информацией, которую также можно рассматривать как задачу устранения аппликативных помех. Предложен относительно простой алгоритм сегментации областей аномальных наблюдений на кадрах видеопоследовательности, основанный на сравнении очередного кадра с эталонным изображением и проведении последовательности морфологических операций.