Нейронные сети lstm и gru в приложении к задаче многоклассовой классификации текстовых постов пользователей социальных сетей
Ключевые слова:
информационная безопасность, социальные сети, социоинженерные атаки, многоклассовая классификация текста, искусственный интеллект, наука о данных, нейронные сети
Аннотация
В данной статье рассмотрены две архитектуры нейронных сетей глубинного обучения — long short-term memory (LSTM) и gated recurrent units (GRU). Данные модели предлагается применить к задаче многоклассовой классификации постов пользователей социальных сетей, при этом результаты классификации используются для построения эмпирического распределения постов пользователя между классами, которое, в свою очередь, применяется в частичной автоматизации процесса оценки степени выраженности психологических особенностей пользователей. Целью исследования является повышение точности многоклассовой классификации постов пользователей посредством разработки и внедрения новых моделей второго уровня иерархического классификатора. Теоретическая значимость исследования заключается в построении новых более точных моделей классификации, которые лягут в основу моделей оценки выраженности личностных особенностей пользователей. Практическая значимость заключается в улучшении автоматизированной системы классификации постов, которая дополнит существующий прототип программы для анализа защищенности пользователей от социоинженерных атак. Новизна результата заключается в создании нового способа решения актуальной задачи автоматизированной классификации постов, позволяющего достигать большей точности классификации по отношению к существующим ранее способам. Лучший результат классификации показала модель на основе архитектуры LSTM (F1-micro 0.766, F1-macro 0.734, Accuracy 0.793).
Скачивания
Данные скачивания пока не доступны.
Литература
1. Abramov М. V., Tulupyeva Т. V., Tulupyev А. L. (2018) Sotsioinzhenernye ataki: sotsial’nye seti i otsenki zashchishchennosti pol’zovatelei [Social engineering attacks: social networks and user security assessments]. St.Petersburg: SUAI. 266 p. (in Russian)
2. Tulupyeva Т. V., Tafinceva А. S., Tulupyev А. L. (2016) Podkhod k analizu otrazheniya osobennostei lichnosti v tsifrovykh sledakh [An approach to analyzing the reflection of personality traits in digital traces]. Bulletin of Psychotherapy. 60 (65), P. 124–137. (in Russian)
3. Oliseenko V. D., Tulupyeva T. V. (2021) Neural Network Approach in the Task of Multi-label Classification of User Posts in Online Social Networks. 2021 XXIV International Conference on Soft Computing and Measurements (SCM). P. 46–48. DOI
4. Hochreiter S., Schmidhuber J. (1997) Long Short-term Memory. Neural computation. 9. DOI
5. Oliseenko V. D., Tulupyeva T. V., Abramov M. V. (2022) Online Social Network Post Classification: A Multiclass approach. In: Kovalev S., Tarassov V., Snasel V., Sukhanov A. (eds) Proceedings of the Fifth International Scientific Conference “Intelligent Information Technologies for Industry” (IITI’21). IITI 2021. Lecture Notes in Networks and Systems, vol 330. Springer, Cham. DOI
6. Chaitra P. C., Kumar D. R. S. (2018) A review of multi-class classification algorithms. International Journal of Pure and Applied Mathematics. 118(14), P. 17–26.
7. Liu Y., Bi J.-W., Fan Z.-P. (2017) A method for multi-class sentiment classification based on an improved one-vs-one (OVO) strategy and the support vector machine (SVM) algorithm. Information Sciences. 394, P. 38–52. DOI
8. Rifkin R., Klautau A. (2004) In defense of one-vs-all classification. Journal of Machine Learning Research. 5, P. 101–141.
9. Ali D., Missen M. M. S., Husnain M. (2021) Multiclass Event Classification from Text. Scientific Programming. 6660651. DOI
10. Muhammad B. A., Iqbal R., James A., Nkantah D. (2020) Comparative Performance of Machine Learning Methods for Text Classification. IEEE, 2020 International Conference on Computing and Information Technology. 9213788. DOI
11. Chatterjee D. P., Mukhopadhyay S., Goswami S., Panigrahi P. K. (2021) Efficacy of Oversampling Over Machine Learning Algorithms in Case of Sentiment Analysis. Advances in Intelligent Systems and Computing. vol. 1175, P. 247–260. DOI
12. Kekül H., Ergen B., Arslan H. (2021) A multiclass hybrid approach to estimating software vulnerability vectors and severity score. Journal of Information Security and Applications. 63, 103028. DOI
13. La L., Guo Q., Yang D., Cao Q. (2012) Multiclass Boosting with Adaptive Group-Based kNN and Its Application in Text Categorization. Mathematical Problems in Engineering. 793490. DOI
14. Majumder G., Pakray P., Das R., Pinto D. (2021) Interpretable semantic textual similarity of sentences using alignment of chunks with classification and regression. Applied Intelligence. 51, P. 7322–7349. DOI
15. Chung J., Gulcehre C., Cho K., Bengio Y. (2014) Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv preprint arXiv:1412.3555.
16. Zhang Y., Wang J., Zhang X. (2021) Learning Sentiment Sentence Representation with Multiview Attention Model. Information Sciences. vol. 571, P. 459–474. DOI. Peters M. E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L. (2018) Deep contextualized word representations. NAACL HLT 2018. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1, P. 2227–2237. ins.2021.05.044
17. Yuan S., Wu Y. Xiang (2018) Incorporating pre-training in long short-term memory networks for tweet classification. Social Network Analysis and Mining. 8 (1). DOI
18. Duwairi R. A, Hayajneh A., Quwaider M. (2021) Deep Learning Framework for Automatic Detection of Hate Speech Embedded in Arabic Tweets. Arabian Journal for Science and Engineering. 46 (4), 4001–4014. DOI
19. AlSurayyi W. I., Alghamdi N. S., Abraham A. (2019) Deep learning with word embedding modeling for a sentiment analysis of online reviews. International Journal of Computer Information Systems and Industrial Management Applications. 11, P. 227–241.
20. Lima A. C. E. S., de Castrol L. N. (2014) A multi-label, semi-supervised classification approach applied to personality prediction in social media. Neural Networks. 58, P. 122–130. DOI
21. Tulupyeva Т. V, Suvorova А. В., Azarov А. А., Tulupyev А. L., Bordovskaya N. V. (2015) Сomputer tools in the analysis of students’ digital footprints in social network: possibilities and primary results. Computer tools in education. 5, P. 3–13 (in Russian)
22. Grandini M., Bagli E., Visani G. (2020) Metrics for Multi-Class Classification: an Overview. arXiv preprint arXiv:2008.05756.
23. Yang S. Yu X., Zhou Y. (2020) LSTM and GRU Neural Network Performance Comparison Study: Taking Yelp Review Dataset as an Example. 2020 International Workshop on Electronic Communication and Artificial Intelligence (IWECAI). P. 98–101. DOI
24. Stoliarova V. F. (2021) Non-parametric Bayes Belief Network for Intensity Estimation with Data on Several Last Episodes of Person’s Behavior. Studies in Systems, Decision and Control. vol. 337, P. 486–497. DOI
25. Devlin J., Chang M.-W., Lee K. (2019) BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL HLT 2019. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1,
P. 4171–4186.
26. Peters M. E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L. (2018) Deep contextualized word representations. NAACL HLT 2018. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1, P. 2227–2237.
2. Tulupyeva Т. V., Tafinceva А. S., Tulupyev А. L. (2016) Podkhod k analizu otrazheniya osobennostei lichnosti v tsifrovykh sledakh [An approach to analyzing the reflection of personality traits in digital traces]. Bulletin of Psychotherapy. 60 (65), P. 124–137. (in Russian)
3. Oliseenko V. D., Tulupyeva T. V. (2021) Neural Network Approach in the Task of Multi-label Classification of User Posts in Online Social Networks. 2021 XXIV International Conference on Soft Computing and Measurements (SCM). P. 46–48. DOI
4. Hochreiter S., Schmidhuber J. (1997) Long Short-term Memory. Neural computation. 9. DOI
5. Oliseenko V. D., Tulupyeva T. V., Abramov M. V. (2022) Online Social Network Post Classification: A Multiclass approach. In: Kovalev S., Tarassov V., Snasel V., Sukhanov A. (eds) Proceedings of the Fifth International Scientific Conference “Intelligent Information Technologies for Industry” (IITI’21). IITI 2021. Lecture Notes in Networks and Systems, vol 330. Springer, Cham. DOI
6. Chaitra P. C., Kumar D. R. S. (2018) A review of multi-class classification algorithms. International Journal of Pure and Applied Mathematics. 118(14), P. 17–26.
7. Liu Y., Bi J.-W., Fan Z.-P. (2017) A method for multi-class sentiment classification based on an improved one-vs-one (OVO) strategy and the support vector machine (SVM) algorithm. Information Sciences. 394, P. 38–52. DOI
8. Rifkin R., Klautau A. (2004) In defense of one-vs-all classification. Journal of Machine Learning Research. 5, P. 101–141.
9. Ali D., Missen M. M. S., Husnain M. (2021) Multiclass Event Classification from Text. Scientific Programming. 6660651. DOI
10. Muhammad B. A., Iqbal R., James A., Nkantah D. (2020) Comparative Performance of Machine Learning Methods for Text Classification. IEEE, 2020 International Conference on Computing and Information Technology. 9213788. DOI
11. Chatterjee D. P., Mukhopadhyay S., Goswami S., Panigrahi P. K. (2021) Efficacy of Oversampling Over Machine Learning Algorithms in Case of Sentiment Analysis. Advances in Intelligent Systems and Computing. vol. 1175, P. 247–260. DOI
12. Kekül H., Ergen B., Arslan H. (2021) A multiclass hybrid approach to estimating software vulnerability vectors and severity score. Journal of Information Security and Applications. 63, 103028. DOI
13. La L., Guo Q., Yang D., Cao Q. (2012) Multiclass Boosting with Adaptive Group-Based kNN and Its Application in Text Categorization. Mathematical Problems in Engineering. 793490. DOI
14. Majumder G., Pakray P., Das R., Pinto D. (2021) Interpretable semantic textual similarity of sentences using alignment of chunks with classification and regression. Applied Intelligence. 51, P. 7322–7349. DOI
15. Chung J., Gulcehre C., Cho K., Bengio Y. (2014) Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv preprint arXiv:1412.3555.
16. Zhang Y., Wang J., Zhang X. (2021) Learning Sentiment Sentence Representation with Multiview Attention Model. Information Sciences. vol. 571, P. 459–474. DOI. Peters M. E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L. (2018) Deep contextualized word representations. NAACL HLT 2018. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1, P. 2227–2237. ins.2021.05.044
17. Yuan S., Wu Y. Xiang (2018) Incorporating pre-training in long short-term memory networks for tweet classification. Social Network Analysis and Mining. 8 (1). DOI
18. Duwairi R. A, Hayajneh A., Quwaider M. (2021) Deep Learning Framework for Automatic Detection of Hate Speech Embedded in Arabic Tweets. Arabian Journal for Science and Engineering. 46 (4), 4001–4014. DOI
19. AlSurayyi W. I., Alghamdi N. S., Abraham A. (2019) Deep learning with word embedding modeling for a sentiment analysis of online reviews. International Journal of Computer Information Systems and Industrial Management Applications. 11, P. 227–241.
20. Lima A. C. E. S., de Castrol L. N. (2014) A multi-label, semi-supervised classification approach applied to personality prediction in social media. Neural Networks. 58, P. 122–130. DOI
21. Tulupyeva Т. V, Suvorova А. В., Azarov А. А., Tulupyev А. L., Bordovskaya N. V. (2015) Сomputer tools in the analysis of students’ digital footprints in social network: possibilities and primary results. Computer tools in education. 5, P. 3–13 (in Russian)
22. Grandini M., Bagli E., Visani G. (2020) Metrics for Multi-Class Classification: an Overview. arXiv preprint arXiv:2008.05756.
23. Yang S. Yu X., Zhou Y. (2020) LSTM and GRU Neural Network Performance Comparison Study: Taking Yelp Review Dataset as an Example. 2020 International Workshop on Electronic Communication and Artificial Intelligence (IWECAI). P. 98–101. DOI
24. Stoliarova V. F. (2021) Non-parametric Bayes Belief Network for Intensity Estimation with Data on Several Last Episodes of Person’s Behavior. Studies in Systems, Decision and Control. vol. 337, P. 486–497. DOI
25. Devlin J., Chang M.-W., Lee K. (2019) BERT: Pre-training of deep bidirectional transformers for language understanding. NAACL HLT 2019. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1,
P. 4171–4186.
26. Peters M. E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L. (2018) Deep contextualized word representations. NAACL HLT 2018. Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 1, P. 2227–2237.
Опубликован
2021-12-18
Как цитировать
Олисеенко, В. Д., Абрамов, М. В., & Тулупьев , А. Л. (2021). Нейронные сети lstm и gru в приложении к задаче многоклассовой классификации текстовых постов пользователей социальных сетей. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (4), 130-141. https://doi.org/10.17308/sait.2021.4/3803
Выпуск
Раздел
Компьютерная лингвистика и обработка естественного языка
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
