Разработка и оценка RAG-системы для анализа семантических связей

Аннотация

В статье представлена разработка и оценка системы для автоматического определения семантической близости текстов в рамках специализированных предметных областей на основе метода RAG (Retrieval Augmented Generation). Предлагаемое решение интегрирует большие языковые модели (Llama, Gemma) с векторными базами данных (Milvus) для извлечения контекстно-релевантной информации. Основная задача системы — бинарная классификация пар текстовых описаний («целевой показатель — мероприятие») с целью выявления их смысловой связи. Экспериментальная часть включает сравнительный анализ эффективности различных конфигураций моделей и промптов. Наилучший результат продемонстрировала модель Llama-3.1-8B-Instruct, достигшая F1-меры 0.9 при использовании RAG-подхода. Важным элементом системы стала оптимизация генеративной части моделей за счет 4-битной квантизации, что позволило снизить вычислительные затраты без значительной потери точности. Показано, что включение в промпты релевантных примеров из векторной базы данных RAG-системы повышает точность классификации на 15–20 % по сравнению с базовыми настройками. Результаты подтверждают, что RAG-система эффективно адаптируется к узкоспециализированным текстам, таким как нормативные документы или стратегические планы. Практическая значимость работы заключается в возможности внедрения системы в процессы управления организационными мероприятиями, где критична проверка согласованности формулировок и выявление противоречий. Перспективы дальнейших исследований связаны с интеграцией современных языковых моделей (Qwen, DeepSeek), оптимизацией методов индексации в векторных хранилищах и совершенствованием шаблонов промптов.