Исследование и сравнительный анализ методов оптимизации, используемых при обучении нейронных сетей - Ирина Леонидовна Каширина; Мария Владимировна Демченко (Вестник ВГУ. Серия: Системный анализ и информационные технологии, 2018)
Современные методы глубокого обучения нейронных сетей, по существу, заключаются в нахождении минимума некоторой непрерывной функции ошибки. В последние годы были предложены различные алгоритмы оптимизации, которые используют разные подходы для обновления параметров модели. Данная статья посвящена анализу наиболее распространенных методов оптимизации, применяющихся в задачах обучения нейронных сетей и формированию на основе выявленных свойств рекомендаций по выбору алгоритма для настройки нейронных сетей на различных наборах данных. В процессе анализа были рассмотрены различные реализации метода градиентного спуска, импульсные методы, адаптивные методы, квазиньютоновские методы, обобщены проблемы их использования, а также выявлены основные преимущества каждого из методов.