ОБЪЕКТИВНЫЕ ПАРАМЕТРЫ СУБЪЕКТИВНОЙ ОЦЕНКИ КАЧЕСТВА ПЕРЕВОДА

Л. В. Елизарова; К. К. Дмитриева

Л. В. Елизарова Российский государственный педагогический университет имени А. И. Герцена
К. К. Дмитриева Российский государственный педагогический университет имени А. И. Герцена

Ключевые слова: качество перевода, экспертная оценка, типология «Многомерных метрик качества», типология ошибок, параметры оценивания, критичность ошибок

Аннотация

Статья посвящена изучению современных технологий оценки качества перевода. В разное время в зависимости от вектора теоретических исследований, потребностей индустрии перевода и задач образовательной деятельности в центре внимания находились различные аспекты качества перевода. Неизменным оставался интерес к изучению критериев оценки, обусловленный стремлением к выявлению универсальных, максимально объективных критериев оценивания. Экспертная оценка, выполняемая человеком вручную с опорой на типологию ошибок, долгое время оставалась единственным способом оценивания результатов перевода. Под влиянием жестких требований современного общества к оперативной передаче больших объемов информации возникает потребность в оценке качества материалов, выполненных с помощью машинного перевода. В связи с этим происходит модификация экспертной оценки и начинается активная разработка и внедрение автоматических метрик. Эволюция экспертных технологий в профессиональной сфере – от формальных средств оценивания до систем, нацеленных на оценку текстов различной жанровой принадлежности – предопределяет необходимость комплексного изучения практических решений в тесной взаимосвязи с теоретическими положениями. С целью преодоления недостатков, связанных, прежде всего, со степенью объективности оценки, на практике все чаще предпринимаются попытки усовершенствовать набор оценочных параметров, апробировать возможные варианты их комбинаций. Поиск оптимальных решений приводит к возникновению различных версий систем оценивания. В статье рассматривается типология «Многомерных метрик качества», в которой отражается актуальный на данный момент подход к систематизации ошибок по категориям и критериям критичности. Свою версию указанной типологии недавно представила компания Google. Цель исследования заключается в выявлении отличительных особенностей традиционной и обновленной версий типологии. Итоги сравнительно-сопоставительного анализа ключевых параметров типологии, а также результаты ее апробации при оценке переведенных материалов компании PROMT позволили описать влияние произведенных модификаций на степень объективности оценки качества перевода. Вопрос о целесообразности использования нескольких версий одной системы оценивания остается открытым для дальнейшего изучения.

Скачивания

Данные скачивания пока не доступны.

Биографии авторов

Л. В. Елизарова, Российский государственный педагогический университет имени А. И. Герцена

кандидат филологических наук, доцент кафедры перевода

К. К. Дмитриева, Российский государственный педагогический университет имени А. И. Герцена

студент 4-го курса института иностранных языков, профиль «Перевод и переводоведение»

Литература

1. Соснин А. В., Балакина Ю. В., Кащихин А. Н. Взаимосвязь экспертных категорий и автоматических метрик, используемых для оценки качества перевода // Вестник Санкт-Петерб. ун-та. Язык и литература. 2022. № 19 (1). С. 125–148.
2. Ивлева А. Ю. Проблема оценки качества перевода : подходы к решению // Вестник Волгоград. гос. ун-та. Сер. 2, Языкознание. 2018. Т. 17, № 1. С. 98–106.
3. Сдобников В. В. Оценка качества перевода в аудитории и в реальной жизни // Перевод и сопоставительная лингвистика. Екатеринбург : Изд-во Урал. гуманит. ин-та, 2015. Вып. 11. С. 41–45.
4. Ивлева А. Ю. Оценка качества профессионального и учебного перевода : проблемы и перспективы // Вестник Перм. нац. исслед. политехн. ун-та. Проблемы языкознания и педагогики. 2018. № 1. С. 8–18.
5. Results of WMT22 Metrics Shared Task : Stop Using BLEU – Neural Metrics Are Better and More Robust / M. Freitag et al. // Association for Computational Linguistics : Proceedings of the Seventh Conference on Machine Translation (Abu Dhabi, United Arab Emirates, 7–8 December 2022). Abu Dhabi, 2022, Pp. 46–68.
6. Улиткин И. А. Автоматическая оценка качества машинного перевода научного текста : 5 лет спустя светлой памяти моего учителя Нелюбина Л. Л. // Вестник Моск. гос. обл. ун-та. Сер.: Лингвистика. 2022. № 1. С. 47–59.
7. Results of the WMT21 Metrics Shared Task : Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain / M. Freitag et al. // Association for Computational Linguistics : Proceedings of the Sixth Conference on Machine Translation (Online, 10–11 November 2021). Online, 2021. Pр. 733–774.
8. MQM: официальный сайт. URL: https://themqm.org/
9. Results of the WMT20 Metrics Shared Task / Nitika Mathur et al. // Association for Computational Linguistics : Proceedings of the Fifth Conference on Machine Translation (online, 19–20 November 2020). Online, 2020, Pp. 688– 725.
10. Рычихин А. К. О методах оценки качества машинного перевода // Системы и средства информатики. 2019. № 29 (4). С. 106–118.
11. Experts, Errors, and Context : A Large-Scale Study of Human Evaluation for Machine Translation / M. Freitag et al. // Transactions of the Association for Computational Linguistics. 2021. № 9. Pр. 1460–1474.