Алгоритмы обучения нейро-нечетких сетей и их адаптация для сети на основе байесовской логико-вероятностной модели

  • Георгий Алексеевич Хамчичев Петербургский государственный университет путей сообщения Императора Александра I https://orcid.org/0000-0002-6747-8514
Ключевые слова: нейро-нечеткая сеть, байесовская логико-вероятностная модель нечеткого вывода, машинное обучение, обучение нейро-нечеткой сети, алгоритмы обучения, аппроксимация функций, ANFIS, методы оптимизации

Аннотация

Нейро-нечеткие сети являются перспективными гибридными моделями, объединяющими возможность обучения нейронных сетей и лингвистическую интерпретируемость базы правил нечетких систем, что делает их эффективным инструментом для решения задач аппроксимации сложных нелинейных зависимостей, одновременно обеспечивающим потенциальную объяснимость результатов. Однако обучение таких сетей, включая сеть на основе байесовской логико-вероятностной модели нечеткого вывода (далее БЛВ-модели), представляет сложность из-за неоднородности многослойной структуры, проявляющейся в уникальности каждого параметрического слоя сети. Целью работы является адаптация алгоритмов обучения (алгоритма обратного распространения ошибки и гибридного алгоритма) для подтверждения работоспособности и исследования эффективности данной модели сети. Научная новизна исследования заключается в адаптации и применении современных методов оптимизации, таких как нормированный градиентный спуск, AdaGrad, RMSprop и Adam, для корректировки параметров обучения нейро-нечеткой сети на основе БЛВ-модели. В ходе экспериментального исследования на показательных наборах данных с использованием метрики среднеквадратичной ошибки (RMSE) выполнено сравнение программной реализации модели с ANFIS (Adaptive NeuroFuzzy Inference System) из пакета MATLAB. Результаты показали, что адаптированные алгоритмы обучения в сочетании с методами оптимизации позволяют программной реализации модели достигать уровня качества, сопоставимого с ANFIS, и в ряде случаев превосходящего ее по точности аппроксимации и скорости обучения за счет уменьшения числа эпох. Полученные результаты подтверждают работоспособность программной реализации модели и открывают возможности для дальнейшего развития и применения нейро-нечетких сетей на основе БЛВ-модели в различных областях, требующих решения задач, связанных с аппроксимацией функциональных зависимостей, в условиях работы с данными, содержащими элементы неопределенности и неточности. Ограничение доступа российских потребителей к коммерческому программному обеспечению зарубежных производителей повышает практическую значимость разработанного на основе оригинальной модели нейро-нечеткой сети программного инструмента, делает разработку актуальной и полезной для широкого круга пользователей.

Скачивания

Данные скачивания пока не доступны.

Биография автора

Георгий Алексеевич Хамчичев, Петербургский государственный университет путей сообщения Императора Александра I

аспирант кафедры «Информационные и вычислительные системы» Петербургского государственного университета путей сообщения Императора Александра I

Литература

1. Osovski S. (2018) Neural Networks for Information Processing. Translated from Polish by I. D. Rudinsky. 2nd ed., revised and enlarged. Moscow: Goryachaya Liniya – Telekom. (in Russian).
2. de Campos Souza P. V. (2020) Fuzzy neural networks and neuro-fuzzy networks: A review of the main techniques and applications used in the literature. Applied Soft Computing. 92. P. 106275. DOI
3. Kozhomberdieva G. I., Burakov D. P. and Khamchichev G. A. (2022) Structure of a neuro-fuzzy network based on Bayesian logical-probabilistic model. Soft Measurements and Computing. 61(12). P. 52–64. DOI
4. MathWorks (2024) ‘Neuro-Adaptive Learning and ANFIS’ [Online]. URL
5. Duchi J., Hazan E. and Singer Y. (2011) Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research. 12(61). P. 2121–2159. URL
6. Hinton G. (2012) RMSprop: Divide the Gradient by a Running Average of its Recent Magnitude, Lecture 6e from Coursera class on Neural Networks for Machine Learning [Online]. URL
7. Kingma D. P. and Ba J. (2014) Adam: A Method for Stochastic Optimization, arXiv preprint arXiv:1412.6980 [Online]. URL
8. Goodfellow Y., Bengio I. and Courville A. (2018) Deep Learning. Translated from English by A. A. Slinkin. 2nd ed. Moscow: DMK Press. (in Russian).
9. Rajab S. (2018) Handling interpretability issues in ANFIS using rule base simplification and constrained learning. Fuzzy Sets and Systems. DOI
10. Hussain K. and Salleh M. N. B. M. (2016) Analysis of techniques for ANFIS rule-base minimization and accuracy maximization. ARPN Journal of Engineering and Applied Sciences. DOI
11. Jin Y., Cao W., Wu M., Yuan Y. and Shi Y. (2024) Simplification of ANFIS based on importance-confidence-similarity measures. Fuzzy Sets and Systems. DOI
12. Kozhomberdieva G. I. (2019) Bayesian logical-probabilistic model of fuzzy inference. In: Proceedings of the International Conference on Soft Computing and Measurements. Vol. 1. P. 35– 38. (in Russian).
13. Kozhomberdieva G. I. and Burakov D. P. (2019) Bayesian logical-probabilistic model of fuzzy inference: stages of conclusion derivation and defuzzification. Fuzzy Systems and Soft Computing. 14(2). P. 92–110. DOI
14. Khamchichev G. A., Kozhomberdieva G. I. and Burakov D. P. (2024) On software implementation of a neuro-fuzzy network based on a Bayesian logical-probabilistic model. In: Proceedings of the International Conference on Soft Computing and Measurements. Vol. 1. P. 51–55. (in Russian).
15. Khamchichev G. A. and Kozhomberdieva G. I. (2024) Experience of constructing and training a neuro-fuzzy network based on Bayesian logical-probabilistic model. In: Proceedings of the International Conference on Soft Computing and Measurements. Vol. 1. P. 47–50. (in Russian).
16. Khamchichev G. A., Kozhomberdieva G. I. and Burakov D. P. (2024) Program for Constructing and Training a Neuro-Fuzzy Network Based on a Bayesian Logical-Probabilistic Model. Certificate of Software Registration RU 2024666271, 11 July 2024. Application No. 2024660553 from 13 May 2024. (in Russian).
17. Karaboga D. and Kaya E. (2019) Adaptive network based fuzzy inference system (ANFIS) training approaches: a comprehensive survey. Artificial Intelligence Review. 52. P. 2263–2293. DOI
18. Nikolenko S. I., Kadurin A. A. and Arkhangelskaya E. O. (2018) Deep Learning. Saint Petersburg: Piter. (in Russian).
19. Murphy K. P. (2022) Probabilistic Machine Learning: An Introduction. Translated from English by A. A. Slinkin. Moscow: DMK Press. (in Russian).
20. Jang J.-S. R. (1993) ANFIS: Adaptive-Network-Based Fuzzy Inference System. IEEE Transactions on Systems, Man, and Cybernetics. 23(3). P. 665–685.
Опубликован
2025-05-12
Как цитировать
Хамчичев, Г. А. (2025). Алгоритмы обучения нейро-нечетких сетей и их адаптация для сети на основе байесовской логико-вероятностной модели. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (1), 143-157. https://doi.org/10.17308/sait/1995-5499/2025/1/143-157
Раздел
Интеллектуальные системы, анализ данных и машинное обучение