Модели глубокого обучения для синтеза изображений с включением атмосферных осадков с целью решения задач компьютерного зрения в различных погодных условиях

Аннотация

Проводится анализ известных и исследование новых алгоритмов генерации изображений реальных сцен в условиях атмосферных осадков с целью их аугментации и стилизации. Отмечается, что генерация изображений с внесением преднамеренных искажений в виде атмосферных осадков на основе классических (эвристических) алгоритмов имеет недостатки, связанные с возможным нарушением структуры получаемых изображений и частичной потери реалистичности. Современный подход, позволяющий обойти эту проблему, основан на обучении глубоких нейронных сетей для конкретной задачи. Однако такие решения часто теряют в обобщающей способности, достаточно сложны, а их применение связано с большими вычислительными затратами. В настоящей работе предлагается новый, относительно простой алгоритм включения в исходное изображение артефактов в виде атмосферных осадков на основе использования модели двухвходового трансформера. Предложенная модель обеспечивает извлечение искажений в виде атмосферных осадков из одного изображения и их внесение в другое при обработке и аугментации датасетов изображений реальных сцен применительно к различным погодным условиям. Проводится исследование архитектуры модели на оптимальность параметров, определяется количество слоёв нейронной сети, принцип формирования карт внимания. Демонстрируется возможность аугментации данных для задач детектирования объектов, сегментации и восстановления изображений. Показано, что синтезированные таким образом изображения позволяют решить проблему нехватки данных при обучении нейронных сетей и уменьшают их предвзятость на этапе тестирования. Установлено, что предложенная модель глубокого обучения может быть применена для любой области, где имеется пара изображений: оригинал и шаблон. В качестве шаблона выбирались любые фотографические изображения, содержащие разнообразные искажения, помехи или атмосферные осадки. На примере задачи восстановления изображений показано, что, имея только зашумлённые изображения, можно выделить на них необходимые искажения и перенести их на оригинал.