Perplejidad

De Wikipedia, la enciclopedia libre
Saltar a: navegación, búsqueda

Perplejidad es una medida utilizada en la teoría de la información. Se define como 2 elevado a la entropía, o más a menudo como 2 elevado a la entropía cruzada. La última definición es usada frecuentemente en la comparación empírica de modelos probabilísticos.

Perplejidad de una distribución de probabilidad[editar]

La perplejidad de una distribución de probabilidad discreta p se define como

2^{H(p)}=2^{-\sum_x p(x)\log_2 p(x)}

donde H(p) es la entropía de la distribución y x varía entre los distintos eventos.

Asimismo se puede definir la perplejidad de una variable aleatoria X como la perplejidad de la distribución para todos los posibles valores de x.

Perplejidad de un modelo probabilístico[editar]

A menudo se intenta extraer un modelo de una distribución de probabilidad desconocida p, basándose en un conjunto de entrenamiento generado por p. Dado un modelo probabilístico propuesto q, se puede evaluar q preguntando cómo predice éste otro conjunto separado de prueba x1, x2,..., xN generado también por p. La perplejidad del modelo q se define como

2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}

Los buenos modelos q de la distribución desconocida p tienden a asignar altas probabilidades q(xi) a los eventos de prueba. De esta manera, tendrán una menor perplejidad: se "sorprenden" menos por el conjunto de prueba.

El exponente de la anterior fórmula puede considerarse como el número medio de bits necesarios para representar un evento de prueba xi usando una codificación óptima basada en q. Los modelos con baja perplejidad pueden comprimir mejor el conjunto de prueba, debido a que se necesitan pocos bits de media por cada elemento ya que q(xi) tiende a ser alto.

El exponente puede considerarse también como la entropía cruzada,

H(\tilde{p},q) = -\sum_x \tilde{p}(x) \log_2 q(x)

donde \tilde{p} denota la distribución empírica del conjunto de prueba (i.e., \tilde{p}(x) = n/N si x aparece n veces en un conjunto de prueba de tamaño N).

Perplejidad por palabra[editar]

En procesamiento del lenguaje natural, la perplejidad es usada frecuentemente a la hora de evaluar modelos de lenguaje. Un modelo de lenguaje es una distribución de probabilidad sobre un conjunto de textos.

Usando la definición anterior, se puede encontrar que una frase xi en el conjunto de prueba puede ser codificada de media mediante 190 bits (p.e, si las frases de prueba tienen una media de probabilidad logarítmica de 190). Este valor nos daría un valor enorme de perplejidad de 2190 por frase. Sin embargo, es más común normalizar por la longitud de la frase y considerar sólo el número de bits por palabra. De esta manera, si las frases de un conjunto de entrenamiento constan de un total de 1,000 palabras, y éstas se codifican mediante 7,950 bits, se da la perplejidad del modelo como 27.95 = 247 por palabra. En otras palabras, el modelo se confunde en el conjunto de prueba como si tuviese que elegir uniforme e independientemente entre 247 posibilidades por cada palabra.

La menor perplejidad que se ha publicado del Brown Corpus (1 millón de palabras de inglés americano de distintos temas y géneros) es de 247 por palabra, una entropía cruzada de log2247 = 7.95 bits por palabra o 1.75 por letra.[1] Es posible conseguir una menor perplejidad en corpus de textos más especializados, ya que éstos son más predecibles.

Referencias[editar]

  1. Brown, Peter E.; et al (March 1992). «An Estimate of an Upper Bound for the Entropy of English». Computational Linguistics 18 (1). http://acl.ldc.upenn.edu/J/J92/J92-1002.pdf.