Word Error Rate

WER es una medida comunmente utilizada en la evaluación de sistemas de reconocimiento del habla o de traducción automática.

Calcula el número mínimo de inserciones, borrados y sustituciones de una palabra por otra, necesarios para transformar una frase en otra. Esta medida se basa en la distancia de edición o de Levensthein, con la salvedad de que esta última se calcula a nivel de letra y WER lo hace a nivel de palabra.

En tareas tanto de traducción automática como de reconocimiento del habla, se calcula WER entre la frase generada por el sistema y una frase de referencia correcta.

$WER = \frac{S+B+I}{N}$

donde

• S es el número de sustituciones,
• B es el número de borrados,
• I es el número de inserciones,
• N es el número de palabras que tiene la frase de referencia.

Para hallar el valor mínimo de WER entre dos frases se utiliza un algoritmo de programación dinámica.

Si consideramos que $t_1,t_2...,t_n$ son las primeras $i$ palabras de la frase generada y $r_1,r_2...r_n$ las $r$ primeras de la frase de referencia:

$WER(i,j)= \min \begin{cases} WER(i-1,j)+ 1 \\ WER(i,j-1)+1 \\ WER(i-1,j-1)+\Delta(i,j) \end{cases}$

donde $\Delta(i,j)$ es 1 si las palabras $t_i$ y $r_j$ son diferentes y 0 si son iguales.