Анализ вариантов интеграции символьных и нейросетевых знаний на примере задачи классификации моделей предприятий
Аннотация
Нейросимволический искусственный интеллект ориентирован на интеграцию символьных и нейросетевых знаний. Поскольку символьные знания могут быть легко адаптированы к новым проблемным областям без необходимости обучения на больших объемах данных, нейросимволический искусственный интеллект является перспективным направлением исследований, в частности, для решения задач, для которых недоступны большие наборы данных, необходимые для обучения классических нейросетевых моделей. К таким задачам в том числе относятся задачи из области поддержки принятия решений при моделировании предприятий. Исследования, ориентированные на применение методов машинного обучения при решении задач из данной области, появились сравнительно недавно, и в настоящее время надежных наборов обучающих данных для них еще нет. В статье проанализированы варианты применения различных подходов к интеграции символьных знаний и нейросетевых моделей на примере задачи классификации моделей предприятий. Модели предприятий представлены в виде графов с типизированными вершинами, а в качестве признаков используются типы вершин модели и их количество (топология графов не рассматривается). Проведены эксперименты с использованием классической нейронной сети, нейронной сети, дополненной семантической функцией потерь, и нейронной сети, дополненной предобработкой данных на основе логических правил (при этом структура самой нейронной сети и параметры ее обучения не меняются). Результаты показывают, что применение семантической функции потерь незначительно ухудшает качество нейросетевой модели, в то время как использование предобработки данных существенно его улучшает. Приведенные экспериментальные данные наглядно демонстрируют перспективность исследований в области нейросимволического искусственного интеллекта при решении задач, не имеющих больших наборов обучающих данных, достаточных для использования классических нейросетевых моделей.
Скачивания
Литература
2. Sheth A., Roy K. and Gaur M. (2023). Neurosymbolic Artificial Intelligence (Why, What, and How). IEEE Intelligent Systems. 38(3). P. 56– 62. DOI
3. Borozanov V., Hacks S. and Silva N. (2019). Using Machine Learning Techniques for Evaluating the Similarity of Enterprise Architecture Models. Lecture Notes in Computer Science. 11483. P. 563–578. DOI
4. Shilov N., Othman W., Fellmann M. and Sandkuhl K. (2021). Machine Learning-Based Enterprise Modeling Assistance: Approach and Potentials. Lecture Notes in Business Information Processing. 432. P. 19–33. DOI
5. Shilov N., Othman W., Fellmann M. and Sandkuhl K. (2023). Machine learning for enterprise modeling assistance: an investigation of the potential and proof of concept. Software and Systems Modeling. 22. P. 619–646. DOI
6. Shilov N., Ponomarev A. and Smirnov A. (2023). The Analysis of Ontology-Based Neuro-Symbolic Intelligence Methods for Collaborative Decision Support. Informatics and Automation. 22(3). P. 576–615. DOI
8. Golovko V. A., Golenkov V. V., Ivashenko V. P., Taberko V. V., Ivaniuk D. S., Kroshchanka A. A. and Kovalev M. V. (2018). Integration of artificial neural networks and knowledge bases. Ontology of Designing, 8(3). P. 366–386. DOI
9. Ultsch A. (1994). The Integration of Neural Networks with Symbolic Knowledge Processing. In: New Approaches in Classification and Data Analysis, Springer, P. 445–454. DOI
10. Picco G., Lam H. T., Sbodio M. L. and Garcia V. L. (2021). Neural Unification for Logic Reasoning over Natural Language. arxiv.org. 2109.08460. DOI
11. Wermter S. and Sun R. (2000). An Overview of Hybrid Neural Systems. Lecture Notes in Artificial Intelligence (Subseries of Lecture Notes in Computer Science). 1778. P. 1–13. DOI
13. Ojala M. and Garriga G. C. (2010). Permutation Tests for Studying Classifier Performance. Journal of Machine Learning Research. 11. P. 1833–1863.
14. Kingma D. P. and Ba J. (2014). Adam: A Method for Stochastic Optimization. arxiv.org. 1412.6980. DOI
15. Xu J., Zhang Z., Friedman T., Liang Y. and Broeck G. (2018). A Semantic Loss Function for Deep Learning with Symbolic Knowledge. Proceedings of Machine Learning Research. 80. P. 5502–5511.
16. Fletcher J. and Obradovi Z. (1993) Combining Prior Symbolic Knowledge and Constructive Neural Network Learning. Connection Science. 5(3–4). P. 365–375. DOI
17. Towel G. G., Shavlik J. W. and Noordewier M. O. (1990). Refinement of Approximate Domain Theories by Knowledge-Based Neural Networks. In: Eighth National Conference on Artificial Intelligence (AAAI). P. 861–86
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).