Модели и методы N-Shot обучения и их применение в задачах семантической сегментации изображений: систематизированный обзор, часть i – Zero-Shot обучение

Аннотация

В работе представлен систематизированный обзор моделей и методов N-Shot обучения в контексте задачи семантической сегментации изображений с использованием глубоких нейронных сетей. N-Shot обучение представляет собой совокупность методов и алгоритмов глубокого обучения, преимущественно применяемых в задачах обработки изображений, ориентированных на реализацию способности нейросетевой модели быстро и эффективно обучаться под новую задачу при отсутствии обучающих примеров (Zero-Shot обучение) или при весьма малом их количестве (One-Shot/Few-Shot обучение). Следует отметить, что отечественные научные издания не содержат достаточно полного и систематизированного анализа результатов, полученных в рамках данного направления. Данная первая часть обзора посвящена Zero-Shot обучению, являющаяся одним из направлением N-Shot методологии и осуществляющая сегментацию изображений с новыми классами объектов исключительно на основе целевого изображения и его текстового описания. В работе разобрана постановка задачи Zero-Shot обучения, а также детально проанализированы наиболее известные подходы и реализации, начиная с первоначальных концепций и заканчивая последними инновационными исследованиями. Представленные на рисунках модели глубоких нейронных сетей отображены с сохранением наиболее существенных компонентов, отражающих принципы реализации предлагаемого подхода в каждом случае. При необходимости точного воспроизведения архитектуры читателю следует обратиться к первоисточнику. Для лучшего понимания преимуществ и недостатков анализируемых моделей было осуществлено сравнение полученных авторами результатов тестирования на общих наборах данных Pascal-VOC 2012 и COCO-Stuff. Проведенный анализ позволил выделить наиболее перспективные и эффективные модели, которые могут быть рекомендованы для практического применения в задачах семантической сегментации изображений. В последующей второй части обзора будет представлено исследование методов OneShot и Few-Shot обучения в задаче семантической сегментации. Эта часть обзора будет посвящена методам, способным выполнять сегментацию изображений с новыми классами объектов на основе всего нескольких обучающих примеров.