Машинное обучение в задаче оценки качества изображений в системах со сверхразрешением

Аннотация

В данной работе описан подход к оценке качества изображений в системах со сверхразрешением на основе глубокого обучения с использованием предобученной нейронной сети с дополнительным слоем предварительной обработки, который выполняет перенос признаков в частотную область. Большинство существующих метрик качества, традиционно применяемых в задачах обработки изображений, не позволяют фиксировать изменения детализации, возникающие при использовании сверхразрешающих алгоритмов. Использование таких метрик не позволяет адекватно оценивать результаты алгортмов со сверхразрешением и сравнивать их между собой. Поэтому целью данной работы является разработка алгоритма количественной оценки изменения разрешения изображения, происходящего в результате работы произвольного сверхразрешающего алгоритма. В основе предлагаемого алгоритма оценки качества лежит использование глубоких нейронных сетей с переносом обучения. С учетом физического смысла эффекта сверхразрешения, обработка признаков в нейронной сети должна выполняться для частотной области, поэтому в работе предложен специальный слой предобработки, выполняющий такой переход с использованием преобразования Фурье. Схема обучения состоит из двух этапов. На первом этапе создается модель системы формирования изображений, моделирующая получение изображений с низким разрешением из произвольных изображений высокого разрешения. Показано, что использование нейронной сети для формирования изображений с низким разрешением существенно превосходит по точности традиционные линейные модели. Далее модель формирования применяется для повышения объема обучающей выборки, используемой для обучения алгоритма оценки качества. Полученный алгоритм оценки качества применим как для сравнения результатов работы различных сверхразрешающих алгоритмов между собой, так и для оценки предельной возможности повышения разрешения сверхразрешающего алгоритма.