Применение модели дистилляций знаний BERT для анализа настроений текста
Ключевые слова:
анализ настроений, классификация настроений текста, дистилляция, модель обучения, предварительная обработка данных, нормализация данных, BERT, ruBert, Python
Аннотация
Увеличение сложности архитектур нейронных сетей и увеличение объема обрабатываемых данных в процессе машинного обучения ставит вопрос о необходимости применения более производительных подходов, которые позволили бы оптимизировать процесс разработки моделей классификации текста для решения задач анализа настроений. Целью работы является обучение и оптимизация нейросетевой модели-трансформера для классификации данных в рамках решения анализа настроений русскоязычного текста. В рамках научного исследования предлагается применение предварительной обученных моделей двунаправленного кодирования BERT, а также модели дистилляции знаний ruBERT-tiny для выполнения мультиклассовой классификации текста для анализа настроений пользовательского текста. Применение этапа уплотнения данных для моделей дистилляции знаний позволяет оптимизировать этап обучения моделей классификации текста. Разработана программа на языке программирования Python с использованием библиотек машинного обучения. Техническое решение позволяет апробировать предобученные модели классификации данных, на основе которых создать оптимизированные модели классификации для анализа настроений пользовательских текстов с учетом специфики предметной области.
Скачивания
Данные скачивания пока не доступны.
Литература
1. Koloshina V. S. and Rodionova, M. E. (2021) Analiz vliyaniya social’nyh setej v politicheskoj sfere obshchestva: ot mirovoj k rossijskoj praktike (na analize social’nyh setej rossijskih politicheskih partij) [Analysis of the impact of social networks in the political sphere of society: from world to russian practice (on the analysis of social networks of russian political parties)]. Science and Education Today: Basic and Applied Research. P. 412–420. (in Russian)
2. Cherkasov D. and Ivanov V. V. (2018) Mashinnoe obuchenie [Machine learning. Science]. Technology and Education. No. 5(46). P. 85–87. (in Russian)
3. Malchits V. S. (2019) Primenenie metodov mashinnogo obucheniya dlya klassifikacii novostej [Application of machine learning methods for news classification] Youth in the 21st century: a step into the future. P. 208–209. (in Russian)
4. Widmant O. S. (2018) Prognozirovanie finansovyh vremennyh ryadov s ispol’zovaniem rekurrentnyh nejronnyh setej LSTM [Financial time series forecasting using LSTM recurrent neural networks]. Society: politics, economics, law. (5). P. 63-66. (in Russian).
5. Galeev D. T. and Panischev V. S. (2022) Eksperimental’noe issledovanie yazykovyh modelej” transformer” v zadache nahozhdeniya otveta na vopros v russkoyazychnom tekste. [Experimental study of linguistic “transformer” models in the task of finding an answer to a question in Russian-language text]. Informatics and Automation. 21(3). P. 521–542. (in Russian)
6. Kosterin, M. A. and Paramonov I. V. (2022) Nejrosetevaya klassifikaciya russkoyazychnyh predlozhenij po tonal’nosti na chetyre klassa [Neural network classification of Russian sentences by tonality into four classes]. Modeling and analysis of information systems. 29(2). P. 116–133. (in Russian)
7. Yarushkina N. G., Moshkin V. S. and Konstantinov A. A. (2020) Primenenie yazykovyh modelej word2vec i bert v zadache sentiment-analiza tekstovyh soobshchenij social’nyh setej [Application of word2vec and bert language models in the task of sentiment analysis of social network text messages]. Automation of management processes. (3). P. 60–69. (in Russia)
8. Berezin S. A. (2020) Rekomendatel’naya sistema dlya meropriyatij na osnove yazykovoj modeli BERT [A recommendation system for events based on the BERT language model]. INSC 2020. P. 154–154. (in Russian)
9. Dale D. S. (2021) Malen’kiy i bystryy BERT dlya russkogo yazyka [Small and fast BERT for the Russian language] – Text: electronic. URL
10. Blinov P., Avetisian, M., Kokh V., Umerenkov D. and Tuzhilin A. (2020) Predicting clinical diagnosis from patient’s electronic health records using BERT-based neural networks. International Conference on Artificial Intelligence in Medicine. P. 111–121.
11. Bessmertny I. A., Vasiliev A. V., Koroleva Y. A., Platonov A. V. and Poleshchuk E. A. (2019). Metody kvantovogo formalizma v informacionnom poiske i obrabotke tekstov na estestvennyh yazykah [Methods of quantum formalism in information retrieval and text processing in natural languages]. Proceedings of higher education institutions. Instrumentation. 62(8). P. 702–709. (in Russian)
12. Karpovich S. N. (2018) Korpus tekstov russkogo yazyka dlya testirovaniya algoritmov tematicheskogo modelirovaniya [A corpus of Russian texts for testing thematic modeling algorithms]. Intelligent Technologies in Transport. 1(13). P. 11–19. (in Russia)
13. Cui, X., Scogland T. R., de Supinski B. R. and Feng W. C. Performance Evaluation of the NVIDIA Tesla P100: Our Directive-Based Partitioning and Pipelining vs. NVIDIA’s Unified Memory. Matrix. 40. P. 50.
14. RuBERT for Sentiment Analysis (2021) – Text: electronic. URL
15. Kropanev N. D. and Kotelnikova A. В. (2021) BERT dlya analiza tonal’nosti dlinnyh tekstov na primere Kaggle Russian News Dataset [BERT for analyzing the tonality of long texts on the example of Kaggle Russian News Dataset]. Society. Science. Innovations (NPC-2021). P. 256–259.
16. Shazeer N. and Stern M. (2018) Adafactor: Adaptive learning rates with sublinear memory cost. In International Conference on Machine Learning. P. 4596–4604.
17. Kosykh N. E. (2020) Ocenka giperparametrov pri analize tonal’nosti russkoyazychnogo korpusa tekstov [Hyperparameter estimation in tone analysis of Russian-language text corpus]. Intelligent Technologies in Transport. 3 (23). P. 41– 44. (in Russain)
18. Bolshakov M. A., Molodkin I. A. and Pugachev S. В. (2020) Sravnitel’nyj analiz metodov mashinnogo obucheniya dlya ocenki kachestva IT-uslug [Comparative analysis of machine learning methods for IT service quality assessment]. Information protection. Insider. (4). P. 36–43.
2. Cherkasov D. and Ivanov V. V. (2018) Mashinnoe obuchenie [Machine learning. Science]. Technology and Education. No. 5(46). P. 85–87. (in Russian)
3. Malchits V. S. (2019) Primenenie metodov mashinnogo obucheniya dlya klassifikacii novostej [Application of machine learning methods for news classification] Youth in the 21st century: a step into the future. P. 208–209. (in Russian)
4. Widmant O. S. (2018) Prognozirovanie finansovyh vremennyh ryadov s ispol’zovaniem rekurrentnyh nejronnyh setej LSTM [Financial time series forecasting using LSTM recurrent neural networks]. Society: politics, economics, law. (5). P. 63-66. (in Russian).
5. Galeev D. T. and Panischev V. S. (2022) Eksperimental’noe issledovanie yazykovyh modelej” transformer” v zadache nahozhdeniya otveta na vopros v russkoyazychnom tekste. [Experimental study of linguistic “transformer” models in the task of finding an answer to a question in Russian-language text]. Informatics and Automation. 21(3). P. 521–542. (in Russian)
6. Kosterin, M. A. and Paramonov I. V. (2022) Nejrosetevaya klassifikaciya russkoyazychnyh predlozhenij po tonal’nosti na chetyre klassa [Neural network classification of Russian sentences by tonality into four classes]. Modeling and analysis of information systems. 29(2). P. 116–133. (in Russian)
7. Yarushkina N. G., Moshkin V. S. and Konstantinov A. A. (2020) Primenenie yazykovyh modelej word2vec i bert v zadache sentiment-analiza tekstovyh soobshchenij social’nyh setej [Application of word2vec and bert language models in the task of sentiment analysis of social network text messages]. Automation of management processes. (3). P. 60–69. (in Russia)
8. Berezin S. A. (2020) Rekomendatel’naya sistema dlya meropriyatij na osnove yazykovoj modeli BERT [A recommendation system for events based on the BERT language model]. INSC 2020. P. 154–154. (in Russian)
9. Dale D. S. (2021) Malen’kiy i bystryy BERT dlya russkogo yazyka [Small and fast BERT for the Russian language] – Text: electronic. URL
10. Blinov P., Avetisian, M., Kokh V., Umerenkov D. and Tuzhilin A. (2020) Predicting clinical diagnosis from patient’s electronic health records using BERT-based neural networks. International Conference on Artificial Intelligence in Medicine. P. 111–121.
11. Bessmertny I. A., Vasiliev A. V., Koroleva Y. A., Platonov A. V. and Poleshchuk E. A. (2019). Metody kvantovogo formalizma v informacionnom poiske i obrabotke tekstov na estestvennyh yazykah [Methods of quantum formalism in information retrieval and text processing in natural languages]. Proceedings of higher education institutions. Instrumentation. 62(8). P. 702–709. (in Russian)
12. Karpovich S. N. (2018) Korpus tekstov russkogo yazyka dlya testirovaniya algoritmov tematicheskogo modelirovaniya [A corpus of Russian texts for testing thematic modeling algorithms]. Intelligent Technologies in Transport. 1(13). P. 11–19. (in Russia)
13. Cui, X., Scogland T. R., de Supinski B. R. and Feng W. C. Performance Evaluation of the NVIDIA Tesla P100: Our Directive-Based Partitioning and Pipelining vs. NVIDIA’s Unified Memory. Matrix. 40. P. 50.
14. RuBERT for Sentiment Analysis (2021) – Text: electronic. URL
15. Kropanev N. D. and Kotelnikova A. В. (2021) BERT dlya analiza tonal’nosti dlinnyh tekstov na primere Kaggle Russian News Dataset [BERT for analyzing the tonality of long texts on the example of Kaggle Russian News Dataset]. Society. Science. Innovations (NPC-2021). P. 256–259.
16. Shazeer N. and Stern M. (2018) Adafactor: Adaptive learning rates with sublinear memory cost. In International Conference on Machine Learning. P. 4596–4604.
17. Kosykh N. E. (2020) Ocenka giperparametrov pri analize tonal’nosti russkoyazychnogo korpusa tekstov [Hyperparameter estimation in tone analysis of Russian-language text corpus]. Intelligent Technologies in Transport. 3 (23). P. 41– 44. (in Russain)
18. Bolshakov M. A., Molodkin I. A. and Pugachev S. В. (2020) Sravnitel’nyj analiz metodov mashinnogo obucheniya dlya ocenki kachestva IT-uslug [Comparative analysis of machine learning methods for IT service quality assessment]. Information protection. Insider. (4). P. 36–43.
Опубликован
2022-11-09
Как цитировать
Косых, Н. Е. (2022). Применение модели дистилляций знаний BERT для анализа настроений текста. Вестник ВГУ. Серия: Системный анализ и информационные технологии, (3), 139-151. https://doi.org/10.17308/sait/1995-5499/2022/3/139-151
Выпуск
Раздел
Компьютерная лингвистика и обработка естественного языка
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
