Многоязычный машинный перевод с помощью иерархического трансформера

Аннотация

Выбор стратегии распределения параметров между языками в моделях многоязычного машинного перевода определяет то, насколько оптимально используется пространство параметров. Следовательно, выбранная стратегия напрямую влияет на конечное качество перевода. Данная работа исследует новый подход к организации параметров в многоязычном машинном переводе на основе лингвистических деревьев, которые показывают степень родства между различными языками. Основная идея заключается в том, чтобы использовать эти экспертные языковые иерархии в качестве основы для архитектуры модели: чем ближе два языка, тем больше у них должно быть общих параметров. Мы испытываем эту идею для архитектуры Трансформер и показываем, что, несмотря на успех в предыдущих работах, существуют проблемы, присущие обучению таких иерархических моделей. Мы демонстрируем, что при специально подобранной стратегии обучения иерархическая архитектура может превзойти как простые двуязычные модели, так и многоязычные модели перевода с общим пространством параметров.