Исследование чувствительности нейросетевых моделей с применением анализа конечных изменений

Ключевые слова: чувствительность, нейронная сеть, анализ конечных изменений, теорема Лагранжа

Аннотация

Построение математической модели сложной системы часто сопряжено с оценкой влиятельности на отклик исследуемых входов (аргументов, факторов), выявлением важных связей между используемыми переменными, редукцией модели за счет сокращения числа ее входов. Указанные задачи относятся к проблемам анализа чувствительности по факторам математических моделей, многообразие существующих методов которого может быть разделено на пять больших групп в зависимости от применяемых подходов и интерпретации получаемых результатов. Ранее авторами был предложен альтернативный подход, основанный на применении анализа конечных изменений, использующего модель конечных приращений Лагранжа для оценки вклада конечных изменений переменных функции на конечное изменение ее значения. В статье исследуется представленный подход на примере класса полносвязных нейросетевых моделей. В результате проведения указанного анализа чувствительности получается набор оценок коэффициентов, определяющих чувствительность каждого входа. Для их усреднения предлагается использовать алгоритм точечного и интервального оценивания, использующий среднее взвешенное Тьюки. Приводится сравнение описанного метода анализа чувствительности с известным алгоритмом Гарсона и вычислением коэффициентов Соболя; показана непротиворечивость предлагаемого метода. Исследуется вычислительная устойчивость процедуры нахождения оценок влиятельности входов. В качестве численного примера рассмотрена система, состоящая из двух нейросетевых моделей, объединенных общими входами и имеющая коррелированные выходы. Показано, что в данном случае чувствительность модели может быть по мере и направлению соотнесена с корреляцией выходов и соответствующих входов системы. Численные эксперименты проведены на наборе данных neuraldat библиотеки NeuralNetTools языка обработки данных R.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

Семен Львович Блюмин, Липецкий государственный технический университет

д-р физ.-мат. наук, проф., профессор кафедры прикладной математики Липецкого государственного технического университета

Александр Васильевич Галкин, Липецкий государственный технический университет

канд. техн. наук, доц., декан факультета автоматизации и информатики Липецкого государственного технического университета

Антон Сергеевич Сысоев, Липецкий государственный технический университет

канд. техн. наук, доц., доцент кафедры прикладной математики Липецкого государственного технического университета

Литература

1. Saltelli A. (2002) Making best use of model evaluations to compute sensitivity indices. Computer physics communications. Vol. 145, Issue 2. P. 280–297. (https://doi.org/10.1016/S0010- 4655(02)00280-1)
2. Cacuci D. G. (1981) Sensitivity theory for nonlinear systems. I. Nonlinear functional analysis approach. Journal of Mathematical Physics. Vol. 22, Issue 12. P. 2794–2802. DOI
3. Saltelli A., Chan K. and Scott E. M. (2000) Sensitivity Analysis. Wiley Series in Probability and Statistics. New York : Wiley, 504 p.
4. Kurowicka D. and Cooke R. M. (2006) Uncertainty analysis with high dimensional dependence modelling. John Wiley & Sons, 304 p.
5. Christensen R. (1991) Linear models for multivariate, time series, and spatial data. New York : Springer-Verlag. Т. 1. P. 354–355 DOI
6. Cacuci D. G., Ionescu-Bujor M. and Navon I. M. (2005) Sensitivity and uncertainty analysis, volume II: applications to large-scale systems. CRC press, 368 p
7. Box G. E. P. and Meyer R. D. (1986) An analysis for unreplicated fractional factorials. Technometrics. Vol. 28, Issue 1. P. 11–18. DOI
8. Dean A. and Lewis S. (2006) Screening: methods for experimentation in industry, drug discovery, and genetics. Springer Science & Business Media, 2006. 348 p.
9. Sobol’ I. M. (1990) On sensitivity estimation for nonlinear mathematical models. Matematicheskoe modelirovanie. Vol. 2, Issue 1. P. 112–118.
10. Maozhun S. and Ji L. (2017) Improved Garson algorithm based on neural network model. 2017 29th Chinese Control And Decision Conference (CCDC). IEEE, 2017. P. 4307–4312. DOI
11. Blyumin S. L. Sukhanov V. F. and S. V. Chebotarev (2004) Economic Factor Analysis: Monograph. Lipetsk : Lipetsk Ecology and Humanitarian Institute Publishing House. 148 p.
12. Blyumin S. L. [et al.] (2015) Analysis of finite fluctuations for solving big data management problems. 2015 9th International Conference on Application of Information and Communication Technologies (AICT). IEEE, 2015. P. 48–51. DOI
13. Sysoev A. [et al.] (2019) Sensitivity analysis of neural network models: Applying methods of analysis of finite fluctuations. Periodica polytechnica Electrical engineering and computer science. Vol. 63, Issue 4. P. 306–311. DOI
14. Sheglevatych R. V. and Sysoev A. S. (2021) Study on neural network model to detect anomalies in datasets. Applied Mathematics and Control Sciences. No 1. P. 23–40. DOI
Опубликован
2023-09-29
Как цитировать
Блюмин, С. Л., Галкин, А. В., & Сысоев, А. С. (2023). Исследование чувствительности нейросетевых моделей с применением анализа конечных изменений. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (2), 40-51. https://doi.org/10.17308/sait/1995-5499/2023/2/40-51
Раздел
Математические методы системного анализа, управления и моделирования