РАЗРАБОТКА МЕТОДА ОБЪЯСНИМОГО НЕСТРОГОГО СОПОСТАВЛЕНИЯ ТЕКСТОВЫХ ДОКУМЕНТОВ В УСЛОВИЯХ «ХОЛОДНОГО СТАРТА» С ОБРАТНОЙ СВЯЗЬЮ - Корытов, Павел Валерьевич; Холод, Иван Иванович (Вестник ВГУ. Серия: Системный анализ и информационные технологии, 2025)
В данной работе рассматривается задача нестрогого сопоставления текстовых документов, заключающаяся в определении степени их семантического сходства. Задача актуальна для случаев поиска документов в корпусе, похожих на данный; в данной работе рассмотрен подбор вакансий, подходящих под описание дисциплины. Целью работы является разработка метода объяснимого нестрогого сопоставления текстовых документов, работающий в условиях «холодного старта» (без размеченного набора данных для изначального обучения) с возможностью улучшения через обратную связь. Метод основан на сравнении эмбеддингов ключевых слов (или именованных сущностей), извлеченных из текстов, и дополнен постобработкой с использованием би-кодировщика и механизмом обучения на основе обратной связи. Оба дополнения заключаются в фильтрации неподходящих документов. В отличие от традиционных подходов на основе токенов, метод обучаем и учитывает семантическое сходство, а в отличие от нейросетевых подходов (сравнение эмбеддингов текстов или применение кросс-кодировщиков) – обе спечивает объяснимость результатов. Проведена экспериментальная оценка метода на корпусе из 691 вакансии и 3860 описаний дисциплин. Из различных методов извлечения ключевых слов лучшие результаты показало использование модели извлечения именованных сущностей (NER), что соответствует большему количеству извлеченных ключевых слов на текст. При использовании NER-модели, word2vec для эмбеддинга ключевых слов и LaBSE-ru-turbo в качестве би-кодировщика оценка показала F1-меру 0,79, что превосходит как простое сравнение с помощью би-кодировщика (F1=0,76), так и версию метода без обратной связи и би-кодировщика (F1=0.75).