СИАМСКАЯ АРХИТЕКТУРА ТРАНСФОРМЕРА С ЛОКАЛЬНЫМ ОКОННЫМ И ГЛОБАЛЬНЫМ ДЕФОРМИРУЕМЫМ ВНИМАНИЕМ ДЛЯ ОБНАРУЖЕНИЯ ЭЛЕМЕНТОВ НОВИЗНЫ НА ИЗОБРАЖЕНИЯХ - Ростислав Русланович Отырба (Вестник ВГУ. Серия: Системный анализ и информационные технологии, 2025)
Рассмотрена задача обнаружения элементов новизны на изображениях на примере обработки данных аэрокосмического мониторинга поверхности земли. Для решения задачи предлагается оригинальная модель сиамской глубокой нейронной сети X-ChangeNet на основе иерархического трансформера. В рамках модели представлен и обоснован комплексный механизм сопоставления разновременных признаков, включающего три ключевых модуля, которые последовательно выявляют изменения от локального уровня до глобального. К ним относятся: модуль многомасштабной попарной корреляции, который обнаруживает базовые структурные изменения посредством попарной конкатенации и многомасштабной групповой свёртки; многомасштабный трансформер на основе локальных окон, выявляющий сложные локальные и региональные зависимости с помощью многомасштабного оконного внимания; трансформер с деформируемым вниманием на уровне патчей, позволяющий захватывать глобальный контекст и фокусироваться на структурных изменениях при значительно меньших вычислительных затратах по сравнению с традиционным глобальным самовниманием. Проведены сравнительные эксперименты предложенной модели на типовых аэрокосмических наборах данных LEVIR-CD и CDD Dataset по отношению к известным моделям. Показано, что X-ChangeNet обеспечивает высокие и конкурентоспособные показатели точности, превосходя большинство современных моделей при значительно меньшем количестве обучаемых параметров. В частности, модель достигла F1-Score 91,91 % на LEVIR-CD и 97,81 % на CDD Dataset, имея всего 5,8 миллиона параметров. Полученные результаты демонстрируют потенциал предложенной модели для эффективного решения задач обнаружения элементов новизны в различных сценариях.