Регуляризация процесса обучения графовых нейронных сетей методом распространение меток
Аннотация
Графовые нейронные сети в настоящее время являются объектом все возрастающего интереса в области машинного обучения и анализа данных. Их специализированная архитектура позволяет эффективно моделировать и анализировать сложные структуры данных на графах, такие как социальные сети, биоинформационные сети, транспортные сети и другие. С возрастанием объема данных, представленных в виде графов, растет их значимость как инструмента для понимания и прогнозирования сложных взаимосвязей и паттернов. Данная работа направлена на оценку эффективности метода L2-регуляризации, применяемого при машинном обучении в контексте задачи кластеризации узлов графа. Под кластеризацией понимается объединение узлов в группы, выделяемые по степени их связности. При обучении используется специальный метод регуляризации и реализующий его алгоритм распространения меток LPA (Label Propagation Algorithm), а также расширение данного подхода на две популярные архитектуры графовых нейронных сетей: GraphSAGE (Graph Sample and Aggregation) и GAT (Graph Attention Networks). В рамках исследования проводится сравнительный анализ эффективности применения метода LPA на различных датасетах, широко применяемых в научных и практических задачах. Результаты исследования показывают заметное улучшение точности анализа графовых моделей данных при использовании анализируемого подхода. Проведенное исследование способствует более глубокому пониманию воздействия общего подхода L2-регуляризации в плане обучения графовых нейронных сетей.
Скачивания
Литература
2. Wang H. and Leskovec J. (2020) Unifying Graph Convolutional Neural Networks and Label Propagation. arXiv preprint. URL
3. Ando R. K. and Zhang T. (2006) Learning on Graph with Laplacian Regularization. Neural Information Processing Systems. V. 19. P. 25–32. DOI
4. Wang F. and Zhang C. (2008) Label Propagation through Linear Neighborhoods. IEEE Transactions on Knowledge and Data Engineering. V. 20, No 1. P. 55–67. DOI
5. Kipf T. N. and Welling M. (2017) Semi-Supervised Classification with Graph Convolutional Networks. arXiv preprint arXiv:1609.02907. URL
6. Yang Z., Cohen W. W. and Salakhutdinov R. (2016) Revisiting Semi-Supervised Learning with Graph Embeddings. arXiv preprint arXiv:1603.08861. URL
7. Hamilton W. L., Ying R. and Leskovec J. (2017) Inductive Representation Learning on Large Graphs. Advances in Neural Information Processing Systems. V. 30. P. 1025–1035.
8. Velickovic P., Cucurull G., Casanova A., Romero A., Lio P. and Bengio Y. (2018) Graph attention networks. Proceedings of the 6th International Conference on Learning Representations. URL
9. Sen S., Gaudio S., Aitken B. and Lesher C. (2007) Reply. Physical Review Letters. V. 98, No 6. P. 069602. DOI
10. Shchur O., Mumme M., Bojchevski A. and Günnemann S. (2019) Pitfalls of Graph Neural Network Evaluation. arXiv preprint arXiv:1811.05868. URL
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
