Применение модели дистилляций знаний BERT для анализа настроений текста

Аннотация

Увеличение сложности архитектур нейронных сетей и увеличение объема обрабатываемых данных в процессе машинного обучения ставит вопрос о необходимости применения более производительных подходов, которые позволили бы оптимизировать процесс разработки моделей классификации текста для решения задач анализа настроений. Целью работы является обучение и оптимизация нейросетевой модели-трансформера для классификации данных в рамках решения анализа настроений русскоязычного текста. В рамках научного исследования предлагается применение предварительной обученных моделей двунаправленного кодирования BERT, а также модели дистилляции знаний ruBERT-tiny для выполнения мультиклассовой классификации текста для анализа настроений пользовательского текста. Применение этапа уплотнения данных для моделей дистилляции знаний позволяет оптимизировать этап обучения моделей классификации текста. Разработана программа на языке программирования Python с использованием библиотек машинного обучения. Техническое решение позволяет апробировать предобученные модели классификации данных, на основе которых создать оптимизированные модели классификации для анализа настроений пользовательских текстов с учетом специфики предметной области.