Модели и методы N-Shot обучения и их применение в задачах семантической сегментации изображений: систематизированный обзор, часть II, ONE-Shot и FEW-Shot обучение

Аннотация

В работе представлен систематизированный обзор моделей и методов N-Shot обучения в контексте задачи семантической сегментации изображений с использованием глубоких нейронных сетей. N-Shot обучение представляет собой совокупность методов и алгоритмов глубокого обучения, применяемых в задачах обработки изображений и ориентированных на реализацию способности нейросетевой модели быстро и эффективно обучаться под новую задачу при отсутствии обучающих примеров (Zero-Shot обучение) или при весьма малом их количестве (One-Shot/Few-Shot обучение). Следует отметить, что отечественные научные издания не содержат достаточно полного и систематизированного анализа результатов, полученных в рамках данного направления. В статье, ранее опубликованной в настоящем журнале, была представлена первая часть обзора, посвященная исключительно методам и алгоритмам Zero-Shot обучения, т.е. обучения в отсутствии обучающих примеров. Данная статья является второй частью обзора и посвящена методам One-Shot/Few-Shot обучения. Она, с одной стороны, теснейшим образом связана с опубликованной ранее первой частью, но, в то же время, раскрывает суть принципиально другого подхода. В отличие от Zero-Shot обучения, где модель не имеет обучающих примеров для новых классов, данный подход предполагает обучение либо на основе одного обучающего примера в виде размеченного изображения (One-Shot-обучение), либо на основе использования небольшого количества обучающих примеров (Few-Shot-обучение). На сегодняшний день данное направление развивается ещё более активно, чем Zero-Shot, и демонстрирует впечатляющие результаты. В работе разобрана постановка задачи One-Shot и Few-Shot обучения, а также детально проанализированы наиболее известные подходы и реализации, начиная с первоначальных концепций и заканчивая последними инновационными исследованиями. Представленные на рисунках модели глубоких нейронных сетей отображены с сохранением наиболее существенных компонентов, отражающих принципы реализации предлагаемого подхода в каждом случае. При необходимости точного воспроизведения архитектуры читателю следует обратиться к первоисточнику. Для лучшего понимания преимуществ и недостатков анализируемых моделей было осуществлено сравнение полученных авторами результатов тестирования на общих наборах данных PASCAL-5i и COCO-20i. Проведенный анализ позволил выделить наиболее перспективные и эффективные модели, которые могут быть рекомендованы для практического применения в задачах семантической сегментации изображений при ограниченном количестве обучающих примеров.