Метод синтеза сложных погодных условий на изображениях для аугментации данных при обучении моделей компьютерного зрения

Аннотация

В данной работе проведены исследование и реализация метода аугментации данных для повышения производительности моделей компьютерного зрения при работе в условиях затруднённой видимости. В частности, рассмотрен метод моделирования эффекта тумана на изображениях дорожных сцен. Проведён анализ возможных подходов к оценке трёхмерной структуры сцены для получения карты глубины, показывающей степень отдалённости объектов сцены от камеры. Рассмотрен принцип работы нейросетевой модели оценки глубины на основании одного изображения, а также приведены другие способы решения задачи получения информации о трёхмерной структуре изображения. Разработан алгоритм синтеза погодных условий, связанных с явлением атмосферного рассеяния. Алгоритм основан на использовании карты глубины для расчёта карты прозрачности, то есть определения густоты тумана для каждого конкретного участка изображения в зависимости от расстояния между этим участком и камерой. Для оценки требуемой яркости моделируемого тумана применяется метод тёмного канала, основанный на оценке средней яркости самых ярких участков изображения, в результате работы которого может быть получена оценка интенсивности естественного освещения. Проведён эксперимент по применению рассматриваемого метода аугментации для дообучения модели распознавания объектов. Рассмотренный алгоритм был применён для набора данных с дорожными сценами, размеченного для задачи детекции. Проверка точности работы модели на наборе изображений, полученных в условиях реального тумана, показала, что наличие синтетических данных в обучающей выборке улучшает точность распознавания и локализации объектов на изображении.