МНОГОМОДАЛЬНАЯ ГЕНЕРАЦИЯ РЕЧИ, МИМИКИ И ЖЕСТОВ В ЦИФРОВЫХ АВАТАРАХ: СОВРЕМЕННЫЕ МЕТОДЫ И ПЕРСПЕКТИВЫ - Александр Александрович Аксёнов (Вестник ВГУ. Серия: Системный анализ и информационные технологии, 2025)
Статья представляет систематический обзор современных подходов к генерации речи, мимики и жестов цифровых аватаров. Основное внимание уделено анализу корпусов данных, служащих базой для обучения и тестирования нейросетевых моделей. Обзор охватывает лицевые и портретные наборы изображений и видео, эмоциональные аудиовизуальные ресурсы, корпуса речи и жестикуляции, записанные в полевых условиях, многовидовые записи с использованием NeRF представлений, полнотелые и ориентированные на захват движения (MoCap) наборы данных, а также рассматриваются синтетические и коммерческие наборы данных, применяемые для восполнения недостатка реальных записей. Выявлены ключевые ограничения существующих ресурсов: постановочный характер большинства студийных корпусов, ограниченность спектра эмоций и культурных особенностей, а также разрыв между реальными и синтетическими данными. Показано, что отсутствие универсального многомодального корпуса затрудняет объективное сравнение методов и разработку единых эталонных тестов. В обзор включены также методы синтеза движений цифровых аватаров. Сопоставляются традиционные алгоритмы, основанные на фонемно-виземных соответствиях и морф-целях, с современными нейросетевыми архитектурами: рекуррентными и сверточными моделями, трансформерами, диффузионными и гибридными подходами. Анализируются их преимущества и ограничения в задачах синхронизации речи, артикуляции, воспроизведения мимики и генерации движений всего тела. Подчёркивается необходимость разработки комбинированных многомодальных корпусов и унифицированных стандартов оценки.