Алгоритм именования кластеров при автоматизированном формировании критериев оценивания программного продукта
DOI:
https://doi.org/10.17308/sait/1995-5499/2025/2/78-88Ключевые слова:
большие языковые модели, Large Language Model, LLM, оценка отзывов, Llama, GPT, Claude, Gemini, GigaChat, Phi3, Gemma, Mistral, DeepSeek, сравнение языковых моделей, суммаризация текстов, извлечение смыслов, кластеризация, RetrievalAugmented Generation, формирование критериев оцениванияАннотация
Рассматривается актуальная проблема настройки входных параметров алгоритма для разделения корпуса текста на кластеры и выдачи наименований для выявленных кластеров. В качестве предмета исследования выбраны подходы к обучению больших языковых моделей (Large Language Model). Приводятся результаты исследования по оценке применимости наиболее популярных подходов (fine-tuning и Retrieval-Augmented Generation) к обозначенной задаче. Предлагается алгоритм именования кластеров при автоматизированном формировании критериев оценивания программного продукта. Теоретическая значимость исследования заключается в приведении оценки качества существующих языковых моделей и возможности их применения при решении поставленной задачи. Практическая значимость исследования заключается в программной реализации алгоритма именования кластеров при автоматизированном формировании критериев оценивания программного продукта, а также в проведении вычислительного эксперимента по оценке точности работы алгоритма. Новизна результата заключается в доработке существующего алгоритма оценки обратной связи с пользователями.
Библиографические ссылки
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
- Авторы сохраняют за собой авторские права и предоставляют журналу право первой публикации работы, которая по истечении 6 месяцев после публикации автоматически лицензируется на условиях Creative Commons Attribution License , которая позволяет другим распространять данную работу с обязательным сохранением ссылок на авторов оригинальной работы и оригинальную публикацию в этом журнале.
- Авторы имеют право размещать их работу в сети Интернет (например в институтском хранилище или персональном сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению и большему количеству ссылок на данную работу (См. The Effect of Open Access).
