Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Evaluation of machine translation
Résumé
Various methods for the evaluation for machine translation have been employed. This article focuses on the evaluation of the output of machine translation, rather than on performance or usability evaluation.
Round-trip translation
A typical way for lay people to assess machine translation quality is to translate from a source language to a target language and back to the source language with the same engine. Though intuitively this may seem like a good method of evaluation, it has been shown that round-trip translation is a "poor predictor of quality". The reason why it is such a poor predictor of quality is reasonably intuitive. A round-trip translation is not testing one system, but two systems: the language pair of the engine for translating into the target language, and the language pair translating back from the target language.
Consider the following examples of round-trip translation performed from English to Italian and Portuguese from Somers (2005):
{|
!Original text
| Select this link to look at our home page.
|-
!Translated
| Selezioni questo collegamento per guardare il nostro Home Page.
|-
!Translated back
| Selections this connection in order to watch our Home Page.
|}
{|
!Original text
| Tit for tat
|-
!Translated
| Melharuco para o tat
|-
!Translated back
| Tit for tat
|}
In the first example, where the text is translated into Italian then back into English—the English text is significantly garbled, but the Italian is a serviceable translation. In the second example, the text translated back into English is perfect, but the Portuguese translation is meaningless; the program thought "tit" was a reference to a tit (bird), which was intended for a "tat", a word it did not understand.
While round-trip translation may be useful to generate a "surplus of fun," the methodology is deficient for serious study of machine translation quality.
This section covers two of the large scale evaluation studies that have had significant impact on the field—the ALPAC 1966 study and the ARPA study.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.
Cours associés (1)
CS-552: Modern natural language processing
Natural language processing is ubiquitous in modern intelligent technologies, serving as a foundation for language translators, virtual assistants, search engines, and many more. In this course, stude
Séances de cours associées (11)
Traduction automatique: séquence à séquence et attention
Explore les progrès de la traduction automatique, en mettant l'accent sur les modèles de séquence à séquence et les mécanismes d'attention.
Génération du langage naturel : évaluation
Explore l'évaluation des modèles de génération de langage naturel, en soulignant l'importance des jugements humains et les limites des paramètres de contenu se chevauchent.
Génération de langues naturelles
Explore la génération du langage naturel, couvrant les modèles neuraux, les biais, l'éthique et les défis d'évaluation.
Publications associées (26)
Personnes associées (2)
Unités associées (2)
Concepts associés (1)
Traduction automatique
La traduction automatique désigne la traduction brute d'un texte entièrement réalisée par un ou plusieurs programmes informatiques. Dans le cas de la traduction d'une conversation audio, en direct ou en différé, on parle de transcription automatique. Un traducteur humain n’intervient pas pour corriger les erreurs du texte durant la traduction, mais seulement avant et/ou après. On la distingue de la traduction assistée par ordinateur où la traduction est en partie manuelle, éventuellement de façon interactive avec la machine.