BLEU

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

BLEU (Bilingual Evaluation Understudy) es un método de evaluación de la calidad de traducciones realizadas por sistemas de traducción automática. Una traducción tiene mayor calidad cuanto más similar es con respecto a otra de referencia, que se supone correcta. BLEU puede calcularse utilizando más de una traducción de referencia. Esto permite una mayor robustez a la medida frente a traducciones libres realizadas por humanos.

BLEU se calcula normalmente a nivel de frases y halla la precisión en ngramas entre la traducción del sistema y la de referencia. Sin embargo, se utiliza una precisión modificada con el fin de solventar ciertas deficiencias en la medida.

Precisión modificada[editar]

La precisión de ngramas entre 2 frases es:

 P = \frac{\mbox{ngramas comunes}}{\mbox{ngramas candidata}}
Ejemplo de precisión en 1-gramas
Candidata 1 A cat is on the mat
Candidata 2 The cat exists in the board
Referencia The cat is on the table

En este ejemplo la precisión en 1-gramas sería de \frac{4}{6} para la candidata 1 y de \frac{3}{6} para la 2.

La precisión no es una medida adecuada para calcular la similitud entre 2 frases, como se puede ver a continuación:

Ejemplo de mala traducción con una alta precisión
Candidata the the the the the the
Referencia The cat is on the table

En este caso tendríamos una precisión de \frac{6}{6}=1. Por ello se ha de tener en cuenta el número máximo de ocurrencias de un ngrama en la frase de referencia, siendo éste el límite a la hora de contabilizar las apariciones en la frase candidata. Con esto en cuenta la precisión modificada sería de \frac{2}{6} en este último ejemplo.

Penalización por brevedad[editar]

Si las frases a comparar tienen una longitud muy distinta, no podemos afirmar que sean similares. Si la frase candidata tiene mayor longitud que la de referencia, este aspecto se ve reflejado en la fórmula de precisión modificada anterior. Habrán muchos ngramas en la frase candidata que no aparecerán en la frase de referencia por lo que la precisión será menor. Esto no ocurre cuando la frase de referencia es mucho menor, tal y como se puede observar en el siguiente ejemplo:

Ejemplo de mala traducción con alta precisión
Candidata the the
Referencia The cat is on the table

La precisión modificada sería de \frac{2}{2} = 1 y no reflejaría la similitud entre ambas frases. Por ello se introduce un penalizador por brevedad de las frases candidatas.

 PB = \begin{cases} 1 \ \mbox{si} \ c > r \\ e ^{1-\frac{r}{c}}\end{cases}

donde c es la longitud de la frase candidata y r la longitud de la frase de referencia.

Cálculo de BLEU[editar]

Para el cálculo de BLEU se utiliza la media geométrica para los N ngramas que se vayan a utilizar. Cada ngrama tendrá un peso  w_n tal que  \sum_{n=1}^N w_n = 1 . Típicamente  w_n=\frac{1}{N}

BLEU = PB \cdot \exp \left( \sum_{n=1}^N w_n \log P_n \right)

Referencias[editar]

Véase también[editar]